> В Cuil заявляют, что бот ... не игнорирует файл robots.txt и не лезет на сайты, которые отказываются от индексации.
Наглейшая ложь, на моем сайте Twiceler был забанен именно за то, что клал на robots.txt и сосал трафик как бешеный, по нескольку раз скачивая файлы, которые отдавались ему с HTTP статусом 200. Теперь получает в морду 403, но упорно продолжает биться лбом в закрытую дверь.
> В Cuil заявляют, что бот ... не игнорирует файл robots.txt и не лезет на сайты, которые отказываются от индексации.
Наглейшая ложь, на моем сайте Twiceler был забанен именно за то, что клал на robots.txt и сосал трафик как бешеный, по нескольку раз скачивая файлы, которые отдавались ему с HTTP статусом 200. Теперь получает в морду 403, но упорно продолжает биться лбом в закрытую дверь.