Хочется сказать "Давно пора", но ведь получится как в известном анекдоте.
Поручик читает рецепт яичницы в кулинарной книге: "Тааак... берем сковородку, понятно, кладем в сковородку масло, понятно... Разбиваем в сковородку два яйца?.. Ни хрена себе, это где ж мне такого идиота найти?!"
Ну во-первых, Яндекс игнорирует robots.txt, когда захочет:
http://www.webplanet.ru/news/service/2007/01/11/feedburner.html
Поэтому, если уж бороться на уровне сокрытия контента от роботов, надо сразу вводить запароленные контент-сервисы.
Во-вторых, есть еще такие способы борьбы, как День Независимости.
http://webplanet.ru/news/business/2007/06/18/quintura.html
Второе даже может быть действеннее. Сейчас ведь все дело не в технологии, а в идеологии. Тем более что мы в Совке, тут народ до сих пор живет с "одним царем в голове" (одна партия власти, один поисковик, и т.д.)