Нет, не имел. Гугльбар занимается совершенно другими вещами.
Он мог узнавать от бара о страницах, но не индексить их если доступ закрыт. В бар инфа не грузится со страницы. В браузер - грузится.
По поводу доменов новых - тут даже гугльбар не нужен, у гугля итак есть вся инфа о доменах, в т.ч. новопоявляющихся.
Бот не может пройти за правила .htaccess с паролем, не может сделать вид что он пользователь форума в определенной группе и прочесть контент.
А браузеру этого делать и не надо. Юзер сам сделает.
Введет свой пароль, позволит браузеру загрузить в себя контент закрытой зоны ;)
Вот я об этом писал уже немного, в пункте "прогнозы". Около месяца назад.
А разве с помощью гугловского тулбара Гугел не имел давно уже возмжность индексировать закрытый контент? Я сам не проверял, но мне рассказали, что один вебмастер сделал эксперимент: на свежепреобретённом домене поставил страничку с мудрёным именем, нигде не публикуя её адрес, открыл её в браузере с гугловским тулбаром, и стал следить за логом посещений. Спустя короткое время пришёл гугловский паук и всё проиндексировал.
По поводу незаконности/аморальности явления, тоже есть у меня сомнения. Некоторые, вполне легальные сайты, построены именно на сканировании закрытого контента, и совершенно .