http://webplanet.ru/news/lenta/2005/8/18/invisible.html Comments for "Робот для Невидимой сети" ru http://webplanet.ru/forum/news.html%3Fnews%3D8410#comment-79481 <p>Думаю это не новость.<br /> Подобные роботы давно существуют и прекрасно работают.</p> <p>Но посмотрим, как <noindex><a href="http://www.glendor.com/" title="http://www.glendor.com/" target="_blank" rel="nofollow">http://www.glendor.com/</a></noindex> и т.д.<br /> решат проблеиу с авторизацией при наличие защиты от роботов.</p> Sun, 21 Aug 2005 21:01:52 +0400 :-) comment 79481 at http://webplanet.ru http://webplanet.ru/news/lenta/2005/8/18/invisible.html <p>Как известно, открытая часть веба, доступная для роботов поисковых систем, составляет не более 25% от общего объема Сети. По некоторым оценкам — не более 1%. Индексация «невидимой» части — сложная проблема.</p> <p><a href="http://webplanet.ru/news/lenta/2005/8/18/invisible.html">Далее</a></p> Архив http://webplanet.ru/news/lenta/2005/8/18/invisible.html#comment Thu, 18 Aug 2005 17:58:57 +0400 admin 9627 at http://webplanet.ru