Вебпланета - FeedBurner жжет поисковых роботов - Comments

Надо вообще

Dead Krolik — Tue, 01 May 2007 18:09:34 +0400

Надо вообще заблочить всех ботов, кроме яндекса и гугла. Что я и сделал.

Ваш Dead Krolik.

Да, только так...

Гость — Tue, 16 Jan 2007 23:20:12 +0300

Да, только так...

Не, ну надо

Серега — Fri, 12 Jan 2007 13:08:20 +0300

Не, ну надо какие нахалы!
Это уже в никакие ворота не лезет!
Я закрываю дверь на замок, а яндекс приходит, взламывает его и говорит, ну чтобы кошечки, млин, не пострадали.
Остается только по ip этих сволочей блокировать теперь...

robots.txt не

mihun — Thu, 11 Jan 2007 23:58:46 +0300

robots.txt не распространяется на rss.

Теперь в поиске

jED — Thu, 11 Jan 2007 23:27:39 +0300

Теперь в поиске по блогам Яндекса фиды feedburner и выводит.

Делает. Google blog

Гость — Thu, 11 Jan 2007 23:11:29 +0300

Делает. Google blog search на robots.txt просто кладет. С прибором.

Эээ...

schors — Thu, 11 Jan 2007 21:35:39 +0300

Эээ... Подтвердите мне кто-нибудь, это правда? Яндекс действительно создал прецедент, да ещё и не один, обхода запретов robots.txt? А ещё кто-нибудь так делает?

FeedBurner жжет поисковых роботов

admin — Thu, 11 Jan 2007 20:41:19 +0300

Популярный RSS-агрегатор запретил поисковикам индексацию фидов своих пользователей, отчего ряд российских блоггеров выпали из блогопоиска "Яндекса". Но "Яндекс" решил игнорировать запрет - ради детей.