Политика индексирования всегда зависела и зависит от владельца сайта, который поисковики индексируют. Та же геолокация или, как сейчас, определение IP, позволяет подсунуть поисковику только то, что надо. Если владелец сайта заинтересован, то он и скормит разный контент глобальному и национальному google, к примеру. Списки сетей, с которых осуществляется индексирование google - также публично доступны. Другое дело, что поисковики обычно наказывают понижением рейтинга, если на запросы с разных адресов выдается разный контент.
Интересно, если сайт будет выдавать разный контент для пользователей из разных стран (и даже штатов как в сша), то как такой сайт будет индексировать поисковик? Может Google и Yahoo раздробятся на массу локальных поисковиков и трафик роботов забьет все каналы? :)