Елена Колмановская о «быстром» «Яндексе»

комментировать
версия для печати

Главный редактор «Яндекса» Елена Колмановская комментирует статью, посвященную запуску «быстрого» робота «Яндекса», индексирующего определенную часть Рунета.

Как удалось увеличить скорость индексирования?

База быстрого робота — это менее 1% всей базы, поэтому процесс обхода документов и выкладывания может происходить заметно чаще без существенного увеличения нагрузки.

Выборка из быстрой базы делается одновременно с выборкой из медленной?

Да. В момент запроса метапоиск обращается как к основным поисковым машинам, так и к машинам с базой быстрого робота. Основную базу некорректно называть «медленной», ее обновление происходит каждые 2–3 дня.

Пришлось ли ради этого увеличивать серверный парк?

Мы добавили десяток серверов к примерно пяти сотням, на которых работал поиск и робот.

Насколько возросла нагрузка на сервера?

«Быстрая база» расположена на отдельных серверах.

Планируется ли в дальнейшем увеличивать скорость?

Возможно, но скорость выкладывания не является самоцелью. Работа над быстрым роботом подразумевает: обнаружение актуальных документов; оперативную индексацию и выкладывание; правильное ранжирование. Все три составляющие важны для пользователей.

Сейчас в вашей базе находится почти 800 млн документов. Если учесть все факторы, можно сказать примерно, когда ее размер достигнет миллиарда?

Когда на главной странице «Яндекса» будет написано «Поиск по 1 000 000 000 документов Рунета». :)

И еще — мне кажется, что в этой статье допущена ошибка. А именно — прочтя ее, остаешься под впечатлением, что «Яндекс» априори назначил какие-то сервера актуальными и включил их в быструю базу. На самом деле так не происходит, включение в базу идет постранично и динамично, поэтому состав страниц (и сайтов, с которых они взяты) постоянно обновляется.

Другие