РАЗДЕЛЫ
Архив
|
Госсайты прячутся от поисковиков≡ Исследования | Новости | 24.11.2009 12:06 Около 3,5% сайтов зоны .gov запрещают всем поисковым роботам индексировать свои страницы. Это удалось выяснить членам некоммерческой организации CommonCrawl Foundation, разработавшим специальный бот ccBot. Как По мнению Маламуда, robots.txt должен использоваться на государственных сайтах только в целях безопасности и открытости, а не потому, что какой-то там вебмастер своевольно решил, что их не нужно индексировать. Маламуд также отметил, что в некоторых случаях их ccBot намеренно игнорировал такие инструкции, "поскольку нам показалось, что это было своевольной и незаконной попыткой не допустить общественность". "Ещё более любопытно, — отмечает Маламуд, — что на 175 из этих сайтов, несмотря на глобальный запрет, имеется специальная обходная инструкция для Googlebot, позволяющая ему индексировать данные". Маламуд не видит большого смысла в том, чтобы допускать к информации только некоторых роботов-пауков, а остальных "не пущать". Отметим, впрочем, что некоторые поисковые боты отличаются гиперактивностью, которая может оказать на сайт существенную нагрузку. Не говоря уже о том, что отдельным роботам вообще никакой robots.txt не указ. Что до российских государственных сайтов, то здесь царит практически повсеместная гласность и открытость. Файлом robots.txt здесь вообще не пользуются, за редкими исключениями — например, на сайтах Министерства иностранных дел и Генеральной прокуратуры. Но и здесь блокировку нельзя назвать тотальной. Так, на сайте МИД всем поисковикам С другой стороны, российские госсайты используют более надежные способы сокрытия информации - например, они просто не публикуют ее. Кроме того, в этом году получил известность такой трюк пессимизации, как замена некоторых русских букв на латинские - благодаря этому некоторые госзаказы оказались невидимы для поисковиков. комментарии(0) | разделы: Новости | Исследования Материалы по теме Скрытый Интернет "Яндекс" проводит DoS-атаки Другие новости |
Последние комментарии
Гость про Суд велел "Твиттеру" сдать сторонников WikiLeaks (12)
Гость про Книгоиздатели начали судиться с торрентами (2)
l_e_x_a про "ВКонтакте" принудительно протестирует пользователей (35)
andrey_kadetov про Google назвал Facebook "ловушкой без выхода" (6)
volv про День папуасского робошахтёра (14)
l_e_x_a про Русские кликботы признаны самыми активными (11)
все комментарии looli спрашивает: Земля вампиров смотреть онлайн в HD качестве looli спрашивает: Зеленый Фонарь смотреть онлайн в HD качестве looli спрашивает: Защитник смотреть онлайн в HD качестве looli спрашивает: Запретная зона смотреть онлайн в HD качестве looli спрашивает: Закон доблести смотреть онлайн в HD качестве looli спрашивает: Вышибала смотреть онлайн в HD качестве looli спрашивает: Встречный ветер смотреть онлайн в HD качестве looli спрашивает: Все любят китов смотреть онлайн в HD качестве |
Copyright © 2001-2020 «Вебпланета». При перепечатке ссылка на «Вебпланету» обязательна.