Самое горячее: Европа признала соцсети опасными (50); "Фобос-Грунт" уже не спасти (11); Мобильники убивают детей (26); ЕЩЕ >>
РАЗДЕЛЫ
Архив
« ноябрь 2014  
пн вт ср чт пт сб вс
          1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
03.09.2008 04:39 | пишет Гость | ссылка

> В Cuil заявляют, что бот ... не игнорирует файл robots.txt и не лезет на сайты, которые отказываются от индексации.

Наглейшая ложь, на моем сайте Twiceler был забанен именно за то, что клал на robots.txt и сосал трафик как бешеный, по нескольку раз скачивая файлы, которые отдавались ему с HTTP статусом 200. Теперь получает в морду 403, но упорно продолжает биться лбом в закрытую дверь.

20.10.2008 22:24 | пишет Гость | ссылка

Псевдослучайные урл - ужас. Если на файл нельзя попасть по ссылка, ЭТО ЗАЧЕМ ТО НУЖНО!

Последние комментарии
об издании | тур по сайту | подписки и RSS | вопросы и ответы | размещение рекламы | наши контакты | алфавитный указатель

Copyright © 2001-2014 «Вебпланета». При перепечатке ссылка на «Вебпланету» обязательна.

хостинг от .masterhost