версия для печати23 мая на Вебинформе был опубликован материал, озаглавленный «Рейтинг TOP-50 веб-студий Рунета». И методика, и сама результирующая таблица вызвали множество откликов, и только ленивый не отругал материал. Попробуем разобраться, насколько корректен результат и как можно составить более репрезентативный рейтинг.
О методике исследования Андрея Терехова
Поскольку я сам в качестве респондента участвовал в исследовании, у меня сохранилась анкета, присланная Андреем, а также мои ответы на его вопросы. Так, один из вопросов – оценка объема рынка – заставил серьезно поломать голову. Основная дилемма – включать ли в оценку объема рынка колоссальный и совершенно непрозрачный пласт «частников». Решил включить, полностью отдавая себе отчет в том, что моя методика оценки суммарного оборота этого пласта близка к получению данных «с потолка» – и по итогу моя оценка значительно превысила среднюю оценку.
Что касается рейтинга лидеров, то, не имея времени подробно исследовать сайты «кандидатов в лидеры», составил список «по ощущениям». Уверен, что так сделали практически все респонденты. В итоге лишь 6 из 10 «моих» претендентов попали в сводную десятку.
Сам метод составления рейтинга – опрос игроков – прост и в теории эффективен. Действительно, если нельзя указывать свою компанию, фальсифицировать собственное мнение смысла не имеет. Положение явных лидеров (в данном случае «Актис» и «Студия Лебедева») можно испортить только в случае сговора большинства участников, а «поднимать» компании послабее не хочется – в средней и нижней частях таблиц на счету каждый балл, и не факт, что «моя» компания не окажется рядом с той, которую я искусственно поднимаю в ущерб кому-то из лидеров.
Но метод оказался эффективен лишь в теории. И главная, если не единственная причина необъективности рейтинга – катастрофически низкая прозрачность рынка. Действительно, в нашей отрасли нет никаких ассоциаций или гильдий, тематических форумов (наподобие РИФа и КИБа), виртуальных площадок для общения (ageofweb.ru по многим причинам не считаем), открытой ценовой политики какой-либо значимой части участников. О проблемах у того или иного игрока на рынке мы можем узнать лишь случайно – от перешедшего к нам клиента, от соискателя вакансии, из случайных разговоров. Кроме того, очень многие малоизвестные, но крупные разработчики «сидят» на паре-тройке «толстых» клиентов и совершенно не ведут публичную деятельность.
Поэтому в списке лидеров оказалось так много компаний, прекративших или значительно сокративших операционную деятельность по сравнению с прошлыми годами (называть их не буду, дабы не вызвать обвинения в некорректности); поэтому место крупных и «оборотистых» непубличных компаний заняли компании поменьше, но поактивнее.
В целом же исследование сыграло свою роль. Пусть оно и не показало реальный расклад сил на рынке, зато оно отразило видение рынка самими участниками. Признаюсь честно – я и сам понял пару своих ошибок после публикации материала. Поэтому я считаю, что автора исследования упрекнуть не в чем.
Но что же делать, если мы хотим получить более объективный рейтинг? Уверен, что, сколько участников рынка – столько и мнений, поэтому заранее предвижу критику моей методики. Но все же попробую ее предложить на обсуждение.
Идеальный рейтинг
Создать идеальный рейтинг и просто, и невозможно. Просто – потому что «идеальный» рейтинг должен базироваться на абсолютных показателях, например, на обороте компании, количестве веб-сайтов, созданных за последний год. Надо лишь получить и проверить данные и корректно его назвать результат исследования, например, «Рейтинг веб-студий России по годовому обороту» - и мы получили тот самый идеальный рейтинг.
Но такой рейтинг сделать либо невозможно, либо он будет бесполезен. Далеко не все веб-разработчики предоставят свои обороты. Даже если компания предоставляет баланс, из него должен быть вычтен оборот по смежным услугам, которые очень часто оказывают веб-студии – реклама, хостинг, интеграция. Также я далеко не уверен, что все претенденты на лидерство в рейтинге не используют… скажем так: методы оптимизации налогообложения.
Что касается рейтинга по количеству проектов, то его «полезность» под большим вопросом. Если компания А штампует сайты-визитки пачками, а компания Б работает над небольшим количеством дорогих эксклюзивных проектов, можно ли считать, что компания А «круче» компании Б?
Таким образом, от составления «идеального рейтинга» придется отказаться, а, значит, допустить большую погрешность в результатах исследования. Но что же делать, если нам не подходит ни экспертный рейтинг, ни рейтинг по абсолютным показателям? Попробую предложить свою методику оценки.
Методика
Прежде всего, disclaimer. Метод, который я предлагаю, нельзя воспринимать как что-то законченное. Он может носить характер «отборочного турнира» для составления некоего экспертного рейтинга или должен быть дополнен и откорректирован.
Для составления рейтинга я предлагаю ввести несколько критериев оценки, по возможности исключив из их числа показатели, формируемые субъективной оценкой исследователя, а также данные, которые трудно проверить. Система оценки должна быть максимально близка к системе критериев, по которым средняя/крупная компания выбирает подрядчика на работы по созданию веб-проекта (не считая субъективной оценки портфолио, разумеется).
Все показатели для каждой компании оцениваются по 10-балльной шкале и складываются (возможно, с какими-либо коэффициентами). Итоговый балл и служит основой составления рейтинга.
В список оцениваемых компаний должны попасть те же ТОП-50 студий, указанных в исследовании Андрея Терехова, возможно, еще не более 5 компаний. В итоговом рейтинге вряд ли должно быть более 20 компаний, так как ближе к середине-концу списка распределение мест уже совершенно не принципиально, а погрешность слишком велика.
Показатели, которые должны быть включены:
1. Срок работы компании
Что ни говори, а срок работы все-таки немаловажен. Конечно, несколько молодых, но быстро развившихся компаний будут заведомо в проигрыше, но за счет других показателей они «подтянутся». В то же время, ослабевшие старожилы также «опустятся» за счет остальных показателей. Наверняка можно сказать, что самым «пожилым» лидером станет пресловутая Студия Артемия Лебедева (11 лет), поэтому отведем каждому по баллу за год существования и отнимем у каждого единицу.
2. Индекс цитирования сайта компании
Конечно, и тИЦ Яндекса можно накрутить, но крупные компании не станут увлекаться этим, а «злостные» накрутчики несомненно проиграют по остальным показателям. С алгоритмом присвоения баллов сложнее. Если рассчитывать балл как пропорцию «максимальный тИЦ из списка сайтов / 10 = тИЦ студии / икс», то та же Студия Лебедева по понятным причинам получит 10 баллов, а «Актис» или «Дефа» - около единицы, что явно несправедливо. Поэтому целесообразнее использовать Google PageRank.
3. Вес суммарного индекса цитирования ключевых клиентов
Каждый претендент должен предоставить данные несколько (например, 10) клиентов, которых они считают ключевыми. Так как мы оцениваем текущее состояние рынка, а не былые заслуги компаний, среди этих клиентов должны быть только те, для кого данная студия реализовывала законченные веб-проекты в последние 2-3 года. При этом нужно учитывать, что иногда в число ключевых клиентов часто ставят крупные компании, которым оказывались незначительные услуги – отрисовка баннера на субподряде у рекламного агентства, обновление небольшого сайта дочерней компании и пр. Такие клиенты не должны учитываться. Выбранный индекс (количество упоминаний в Интернете, в Яндекс.Новостях или тот же PageRank) должен быть суммирован для каждой компании; самый большой суммарный индекс получает балл 10, а остальные – пропорционально.
4. Оценка работы компании ключевыми клиентами
Те же самые 10 ключевых компаний должны быть опрошены на предмет оценки деятельности студии. Почему те же самые? Все просто. Очевидно, что для наилучшего значения предыдущего пункта студии выгодно выбрать «самых-самых». Но если результат работы по крупному проекту неудовлетворительный и шанс получить хорошую оценку из уст заказчика невелик, стимул включать в список неудачные проекты отсутствует. Таким образом, в формировании рейтинга не будет громких, но неудачных проектов, а компании, способные удовлетворить потребности крупных заказчиков, получат преимущество. Оценки (от 0 – «очень плохо» до 5 – «очень хорошо») суммируются для каждой компании и каждой компании присваивается балл, используя пропорциональную формулу расчета (самая высокая оценка эквивалентна 10 баллам).
5. Используемые технологии и методики
Пожалуй, единственный показатель, который потребует субъективной оценки, однако, технологии и методики, используемые при разработке сайтов, очень важны. Компания, разрабатывающие сайты на основе, к примеру, профессиональных систем управления сайтами, подробно документирующие проект, а при проектировании использующие CASE-пакеты, должны получить преимущество перед студиями, разрабатывающими сайты «на коленке». Правда, оценка уровня «серьезности» решений может быть только субъективным.
Показатели «под вопросом»: включить их в систему рейтингования было бы очень неплохо, но это довольно сложно – в силу факторов субъективности или сложности проверки достоверности. Вот эти показатели:
- Среднее количество проектов в год
- Размер штата компании
- Средняя стоимость/длительность проекта
- Уровень сложности проекта
- Уровень профессионализма персонала студии
Вместо заключения
В процессе выделения критериев оценки я поймал себя на мысли, что совершенно не представляю, насколько итоговый рейтинг будет отвечать моим собственным представлениям о рынке, т.е. насколько он будет репрезентативным в моих же собственных глазах. Поэтому я, пожалуй, выступлю первым критиком своей методики.
Голая математика может показать результат, точный только в выбранной системе координат. В реальности уровень той или иной компании мы оцениваем на основе массы факторов, подчас, очень субъективных, плохо структурируемых и иногда незначительных. Как бы нам не хотелось создать «идеальный рейтинг», в нем всегда найдется изъян. Поэтому для составления нового рейтинга я бы предложил некий гибридный вариант. Суть его заключается в том, что первичная информация (те же основные критерии, предложенные мной, возможно, за исключением пункта номер 4) собирается исследователем и предоставляется экспертам. Экспертами в данном случае выступят руководители или уполномоченные лица тех же 50 «вебинформовских» лидеров, которые с учетом этих формализованных данных и отзывов о прошлом исследовании составят рейтинг по той же методике, что и предыдущее исследование.
А что думаете вы?
