Вебпланета - Поисковик Cuil убивает сайты - Comments

Псевдослучайны

Гость — Mon, 20 Oct 2008 22:24:25 +0400

Псевдослучайные урл - ужас. Если на файл нельзя попасть по ссылка, ЭТО ЗАЧЕМ ТО НУЖНО!

> В Cuil заявляют,

Гость — Wed, 03 Sep 2008 04:39:14 +0400

> В Cuil заявляют, что бот ... не игнорирует файл robots.txt и не лезет на сайты, которые отказываются от индексации.

Наглейшая ложь, на моем сайте Twiceler был забанен именно за то, что клал на robots.txt и сосал трафик как бешеный, по нескольку раз скачивая файлы, которые отдавались ему с HTTP статусом 200. Теперь получает в морду 403, но упорно продолжает биться лбом в закрытую дверь.

Поисковик Cuil убивает сайты

admin — Tue, 02 Sep 2008 15:11:09 +0400

Администраторы ресурсов, которые пытался индексировать бот, заметили резкое повышение трафика, приводящее во многих случаях к "падению" сервера.