В том случае, когда автора интернет-страничек волнует, чтобы Яндекс не пиздил его тексты — он может прекратить это одним движением мыши. Если он тупой — может предварительно поискать способ это сделать в самом Яндексе.
Авторы фильмов, книг и музыки доже вроде договорились между собой, что если они не хотят, чтобы их произведения пиздили — они ставят на них знак копирайта. Это, в сущности, такая же договорная процедура, как и Disallow в robots.txt. Но вот отдельные граждане не желают следовать этим договоренностям. Их будут пиздить толстой железной проволокой, пока они не научатся.
Вы считали так, Вася Пупкин по другому. Чтобы не было разночтений и применяется система знаков и пометок. Сейчас появились всякие Creative Commons, GNU и прочие обозначения, что вроде как пиздить можно при соблюдении определенных условий.