Обо всём этом уже столько раз писали, что даже надоело.
1. Никто не перекладывает вину на Яндекс. Речь идёт о том, что Яндекс *тоже* должен нести ответственность.
2. То, что паук Яндекса мог получить доступ через что-то там - это всё сослагательное наклонение. Я уже не говорю о том, что ваш троян надуманный: от нормального трояна даже защищённое соединение не защитит. В реальности Яндекс получил к этому доступ через Метрику. Которая, если вы внимательно читали пользовательское соглашение, в принципе не должна была передавать поисковику какие-либо ссылки.
3. Рекламные баннеры, счётчики и проч. инфу могут собирать и даже могут её публиковать где-нибудь, где до этого когда-нибудь доберётся неторопливый паук Яндекса (и вряд ли что-нибудь уже найдёт, так как временные страницы умрут) - но тогда это уже будет под их ответственность, а не под ответственность Яндекса.
4. И ещё раз. Да, МегаФон, секс-шопы и проч. - виноваты. Это никто не оспаривает.
Афтар попытался переложить вину на Яндекс, но слабенько владеет темой.
За страницы с приватными данными отвечает сайт. Их нужно защищать от несанкционированного доступа. Отсутствие прямой ссылки со страниц сайта на приватную информацию защитой не является.
По очень простой причине. На страницах обычно стоят различные счетчики (не только Метрика), рекламные баннеры. Кроме того на сервере может стоять анализатор логов(с открытым или частично открытым доступом). У броузера могут стоять различные тулбары. У юзера может быть троян сливающий в открытый доступ посещения.
Так вот через все это паук Яндекса мог получить доступ. Ну допустим Яндекс позаботился о юзерах(и о себе), прикрыв репутацию Метрики галочкой - "не кормить паука". Другие то пути, а их куча - остались. И завтра паук получит доступ через них. Опять Яндекс афтар винить будет?
Есть robots.txt, meta nofollow, noindex, авторизация, каптча.
Есть огромная куча способов реально закрыть доступ к приватным данным. И если разработчик не удосужился прикрыть доступ, то вина только его и никого другого.