Самое горячее: Европа признала соцсети опасными (50); "Фобос-Грунт" уже не спасти (11); Мобильники убивают детей (26); ЕЩЕ >>
РАЗДЕЛЫ
Архив
« ноябрь 2014  
пн вт ср чт пт сб вс
          1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30

Поисковик Cuil убивает сайты

Безопасность | Новости | 02.09.2008 15:11

Поисковик Cuil, по давно заведенной традиции получивший титул "убийцы Google", оказался убийцей на самом деле. Но по отношению не к Google, а к сайтам, заносимым в базу данных.

В распоряжении издания TechCrunch появились данные о том, что бот Twiceler, обходящий сайты "по заданию" Cuil, работает некорректно, в результате чего многие ресурсы "падают".

"Я не знаю, каким образом это происходит, однако когда Cuil пытается проиндексировать сайт, тот ложится под напором трафика, - сообщил TechCrunch анонимный источник. - Мы находимся в индексе Cuil двадцать четыре часа, и я был вынужден сократить пропуск трафика до двух пакетов в секунду, иначе сайтом невозможно пользоваться".

Дискуссии по поводу индексации сайтов ботом Cuil развернулись на форумах Admin Zone. Многие админы находят метод работы Twiceler некорректным, а один из форумчан заявил, что бот высосал у него 2 гигабайта трафика за месяц. Остальные "пораженцы" заявляют, что Twiceler действует как дилетант: поисковый бот беспорядочно бомбардирует сайт запросами, пытаясь проиндексировать страницы, на которые невозможно попасть по ссылкам, путем генерации псевдослучайных URL - действуя "на авось" (и увеличивая базу).

В Cuil заявляют, что бот - экспериментальный, постоянно модернизирующийся, и отмечают, что он не игнорирует файл robots.txt и не лезет на сайты, которые отказываются от индексации. Кроме того, часть инцидентов может быть не связана с Cuil, подчеркивают в компании.

Что касается объема индекса, который наращивается такими странными способами, то Cuil здесь далеко не впереди планеты всей: месяц назад в его базе было около 120 миллиардов страниц, в то время как Google похвастался триллионом.

Другие новости

Последние комментарии
об издании | тур по сайту | подписки и RSS | вопросы и ответы | размещение рекламы | наши контакты | алфавитный указатель

Copyright © 2001-2014 «Вебпланета». При перепечатке ссылка на «Вебпланету» обязательна.

хостинг от .masterhost