Робот как враг народа

При этом выжирая гиги трафа с отдачей близкой к нулю?

А это просто слишком неудобно написать бот, который будет вести себя вежливо. Посему такое отношение. Насколько я знаю, что Гугл, что Яндекс таймауты не используют, действуют по принципу, пришел, увидел, положил.

Откуда вы взяли гиги трафика? Вы не дорвейщик, часом? Нормальный сайт а) генерирует максимум полсотни килобайт контента в сутки и б) на старый контент умеет отдавать 304 Not Modified. В таком режиме робот может его индексировать хоть раз в час.

304 и дорвеи отдают ;)
я часом кто только ни есть :)
но в рунете дорами не занимался. партнерка была, да :)

кстати
любой открытый форум и 50к новой инфы в день - это вещи несовместимые.
и 304 как раз на нормальные сайты ставят ДАЛЕКО не всегда

В планах предусмотрено управление порядком выдачи для автора поисковика. Этой осенью сделаем.

Игорь, здравствуйте.
Не совсем по теме, и не уверен, что прочитаете коммент, но вот нашел случайно прямо то, о чем в том числе Вы говорили в интервью про пути развития поисковых систем - система выдает профиль сайта:
http://adaptivepath.com/images/publications/essays/sphere3.png
В данном случае это поиск по блогам, так что в профиле значения, характерные для блога.

Вот здесь подробнее:
http://adaptivepath.com/publications/essays/archives/000614.php

Процесс пошел.

Пардоне муа, но в данном случае язык требовал именно этого слова! Да, это их язык.

У нас был противоположный случай, когда я еще работал в Medmedia.ru. Там некоторые статьи тоже выдавались разными способами - обычно двумя, не более. И делалось это вовсе не для обмана поисковиков. Просто одни и те же публикации привязывались к разным разделам, с разной тематической "обвязкой". К примеру, статья про грипп могла выдаваться и в общих "Инфекционных заболеваниях", и в "Детских болезнях". То есть по-человечески все было сделано вполне удобно.

Но роботы Яндекса сочли это "спамом" и перестали индексировать сайт.

правда разрулили
правда пришлось подстраиваться под Яндекс, и с ним переписываться

Лех, не надо - забанили вас не за это, а совсем за другое

Ну дык, это же другое. Это серьезный бузинесс. Каждый советский человек мечтает научиться закрывать багажник, пользуясь инструкцией на испанском, с помощью GPRS-доступа к загадочному слову puerta. Фактически, это вопрос жизни и смерти миллионов россиян в глубоких Пиренеях. Это вам не какие-то там ненужные новости!
http://company.yandex.ru/blog/?msg=100207&month=9&year=2006

Алексей, эта история о несоветском человеке. Мы все хорошо знаем, что именно будет делать советский человек с взбунтовавшимся компьютером, тем более испанским. Шарахнет по нему кулаком или толстым горным ботинком! И сразу получит желаемый результат.

И этот пиренейский пример - яркая иллюстрация к докладу Тимура Аитова о засильи иноземных порталов! Ведь на нашем, русском общественном портале ему бы сразу общественность дала правильную рекомендацию, не пришлось бы рыться в словаре!

Мне стыдно за нашего соотечественника, так позорно закончившему битву с заграничным калькулятором. Вместо того, чтобы заставить глупый аппарат подчиниться, он с ним договаривался, да еще и на его языке.

Русские не ведут переговоров с роботами-террористами!

Доктор Волошин

+5

Скорее уж, не нужна голова, которая не умеет сама строить ассоциации. Выбросьте свою голову. Купите новую в ИКЕЕ.

Ассоциации каждого человека субъективны, они ограничены его представлениями о мире. Ассоциации, которые строит поисковая машина основаны на документах, которые в ней проиндексированы и поисковых запросах других людей.
Вы помните то, что вас интересовало год назад ? Я нет, поэтому мне интересно смотреть на мои related searches в моей search history.
http://holyhalo.livejournal.com

Ну и что? А некоторым интересен кокаин, который воздействует на лобные доли почти как то, о чем вы говорите. А уж эти чудесные ассоциации, которые позволяет строить одна маленькая марочка ЛСД! Это все наверное очень "интересно", правда? Пальцы в розетку, кстати - тоже незабываемый опыт. И главное, измененное состояние сознания достигается и дешевле и быстрей.

Речь не идёт об изменении своего сознания, речь идёт и находжении взаимопонимания с другими людьми. Ассоциации, которые строятся при помощи поисковой машины основаны на знаниях других людей. Двум наркоманам тяжело понять друг друга, двум людям, работающим над одной и той же проблемой возможно договриться об одинаковом понимании, даже если изначально они говорили с использованием различной терминологии. Важно то как я понимаю других людей и как другие люди понимают меня. Поисковые машины ведут именно к построению взаимопонимания. Я ожидаю в будущем открытия истории запросов пользователей поисковых машин, аналогично тому как это было сделано с social bookmarks.
http://holyhalo.livejournal.com

Компьютер - как протез мозга. Ужасно.
Значительно интереснее натренировать свой мозг, чтобы он заменял компьютер - а не наоборот. Например, как придумал автор системы запоминания - http://mnemotexnika.narod.ru/

Да, компьютер это протез мозга, и ничего ужасного в этом нет.
Я не думаю, что автор методики запоминания может запомнить какой-нибудь более-менее развитый API. К тому же информация постоянно меняется и каждый раз придётся запоминать что-то новое, это часто встречается при переходе от версии к версии. Забывать такое же важное свойство памяти как и запоминать.
http://holyhalo.livejournal.com

Ну, как человек, который этой системой пользуется, скажу - можно запомнить что угодно: текст любой сложности, новую знаковую систему, бессмысленный набор символов, тристациферную последовательность и т.д. на любой срок - от часа, до жизни. И все это с помощью системы ассоциаций, которыми оперирует наш мозг. Стоит тренировать и изучать его, а не перекладывать самые простые навыки на тупую железяку. Имхо.

Игорь, спасибо Вам огромное!

Я знаю теперь, чем обрадовать моих коллег-психиатров. Расскажу о новых, перспективных направлениях развития бизнеса. А то им уже скучно лечить простых российских алкоголиков.

Доктор Волошин

Безусловно, психиаторов должна заинтересовать история поисковых запросов пациента, это очень много говорит о человеке. Я своему психиатру даю возможность посмотреть на свою историю запросов и у него обычно не возникает вопросов.
http://holyhalo.livejournal.com

На поисковиках не остановимся. Мы пойдем дальше! Будем анализировать содержание персональных агрегаторов новостей, докторам это сильно подсобит.

Вот, к примеру, такой фрагмент:

19:20 Сканер Fujitsu fi-4860C2 – быстрый, удобный, бесшумный
19:09 У оборудования беспроводных сетей есть «отпечатки пальцев»
17:44 ENlight LP-791 - barebone и ЖК-монитор в одном флаконе
16:48 UFO завалит прилавки бюджетными «10-Мп»
15:30 HTC Artemis поступит на европейский рынок под видом MDA Compact III
11:43 MRV выпускает решения DWDM для коммутаторов OptiSwitch 9000
11:32 HP iPAQ rx4000 - необычный КПК знакомого семейства
11:15 Dell XPS 700 CrossFire: так что же внутри?
10:25 Pioneer может, но пока не хочет: комбо-привод HD-DVD/Blu-ray оказался журналистской уткой

Это покруче, чем "наши жены - пушки заряжены".

Обращение в первобытное состояние.

Атавизм.

Доктор Волошин

Вы знаете, единственный аггрегатор новостей который я читаю это моя френдлента в LiveJournal. Иногда у меня складывается впечатление, что она представляет собой бред шизофреника, но все главные и интересные новости в ней всегда есть.
Все остальные ленты, которые готовятся другими людьми мне неинтересны, именно потому что они готовятся другими людьми и редакциями.
http://holyhalo.livejournal.com

Спонсорство разделов не влияет на содержание авторских материалов - это написано на нашей странице о размещении рекламы на Вебпланете:
http://webplanet.ru/about/advert

Впрочем, чтобы эта мысль была наглядее - в следущей колонке будет про Рамблер.

На заборе тоже много чего написано :)

Идите читайте забор.

Я обычное не читаю заборы. Если уж на то пошло, то читают НА заборе, а не забор как таковой.
:) Вы так активно кричите, что не брали денег, что складывается впечатление, что вы их все таки взяли. :)

Надо проще к жизни относиться :)

Я кричу, что не брал денег? Где это? Я нормальный человек, я беру деньги. Несите уже скорей, хватит болтать!

> Ссылочки то в статейке откуда нарыл? Правильно, из поисковиков.

Малыш, ты меня очень насмешил. Покажи мне, какая ссылка в моей статье найдена через поисковик? Я даю тебе 25 попыток. Потом иди обратно в песочницу.

Читай внимательно. Один RSS-фид мы уже отключили - именно тот, который более всего любили пауки и который давал нам всего 1% посещаемости (от "Яндекс.Новостей"). А вот остальные наши фиды - извини, они сделаны как раз для людей, а не для всеобщих поисковиков.

да останется Вебпланета так же...

это все точно подмечено. Сам за статистикой сервера смотрел и по статистике 76% посетителей по прямому набору, 12% поисковики, остальное ссылки.
Вот и стоит подумать, нужноли тратится на раскрутку в поисковике, может дешевле и быстрее подругому...

молью побиты уши и души, изъела ржавчина плоть
http://www.mdgraphic.ru/

Ты тоже невнимательно читал. Достаточно ввести грамотную политику Включения (авторизацию) вместо борьбы с отдельнымим паразитами через Исключение. К примеру, если мы решим, что Гугл нам полезен - можем включить, да.

(Правда, меня немного настораживает Долгов, который слишком часто рассказывает о собаках в офисах; такое чувство, что Гугл высосал его моск и вставил туда программу трехлетней давности для стран третьего мира; я бы прописал ему завести кошку, а точнее, хорошего бойцового кота... хотя это поможет ему лишь на персональном уровне, а на корпоративном в целом это не важно, потому что он все равно ничего не решает в ТЕХНОЛОГИЯХ поиска этой компании):
http://webplanet.ru/news/service/2006/09/03/googlerussiablog.html

Что заставит Гугл добавлять поддержку вашей авторизации в своего робота? Пример WW показывает, что технически "политику Включения" совместимым образом реализовать нельзя.

И действительно непонятно, почему на Вебпланете нет robots.txt, который запрещал бы всех и вся. Это было бы хорошей иллюстрацией к статье.

Авторизация вообще-то разная бывает. Начиная от банальной маски по IP-адресам ботов. Им при этом ничего поддерживать особенно не надо.

А многих яндексоидов, кстати, реально ломает после ухода. С оптимизаторами проще - я знаю простой способ их реабилитации. Ну да ладно, это для другой колонки прибережем.

Не соглашусь. Не вижу ничего плохого, что в ленту человеку отдавать всю статью целиком. А человек и так зайдет -- за интересными комментариями. Я вот статью один раз прочитал, а за комментами к этой статье уже десятый раз захожу.

n+1 больше n

Логично. С другой стороны, если первой единички не случилось (не прочитали), то и n не будет.

Хотя новостных ресурсов наверное логичнее только анонсы отдавать, как на Вебпланете. Потому что новостей и статей много. Плюс я уже как читатель знаю и доверяю, привык к внешнему виду, поэтому кликнуть, перейти на сайт, и продолжить читать там — не сложно.
А вот если пишешь редко — то можно в RSS и весь текст давать.

> Алексей, вы же математик. Хотя похоже уже нет.

Бывших математиков не бывает, как говорил Степашин. Именно поэтому я не приемлю аргументы типа "поставлено с ног на голову". Вы уж для начала определите "голову" и "ноги", а потом поговорим.

И кстати, не забудьте определить "логику", на которую вы так упорно ссылаетесь. Потому что логик много разных. Есть и такие, в которых 2 X 2 = 11 (к примеру, в троичной системе исчисления, которая, кстати, наиболее близка к системе по основанию E и потому более выгодна для некоторых вычислительных алгоритмов).

Но всегда есть система счисления по умолчанию.
Так что говоря 2х2=11 вы не правы.
Конечно, апосля вы любите говорить, что ипользовали другую истему счисления. Но это уже потом, а до этой оговорки вы допустили ошибку.

И то в математике. А в реальности, если еще и реальность. А о ней, вы как то забываете. Помните, объективная реальность? Это то, что происходит на самом деле. И конечно можно говорить, что у каждого свое мнение и что в десятичной системе счисления 2х2=11, мол я так это вижу. Но реальностью это не будет.

По повду статьи. Ну хотя бы слова - "робот требует". Да никто от вас не требует. Если не хотите общаться с яндексом - не общайтесь. Ваши слова "робот требует" - это уже не есть реальность.

Про неточность про WebmasterWorld.com Вам уже написали без меня. Но могу добавить, что на основании этой неточности вы сделали вывод об отказе ресурса от индексирования гуглом. А на самом деле WebmasterWorld.com не отказался. А запрет для левых роботов - это не новость для вебмастера. (правда обычно идет от обратного - какой робот грузит, того и отключают. Но итог один - левые боты отключены).

Проблема же с Питерхостом - ну здесь уже все было про него сказано. И уж явно, Питерхост не основоположник запретов, а хостинг, не справляющийся с нагрузкой (первично - не справляется).

Что же касатся "отдачи" - то не так сложно сделать сайт, способный отдавать код - страница не изменена. И это было бы правильно. И траф не жрался бы и коректно бы все работало. И это было бы не "заставление" людей работать для пауков, а нормальное соблюдение правил w3c.
А по вашему, нафига праила дорожного движения - что бы мешать ездить куда хочу?
Так и ваши слова, мол хочу творить все что хочу, не соблюдая стандарты - это переврот с ног на голову.

Да и сама мысль, что роботы нас эксплуатируют - такие полуправдами заманивают в сектанство. Поисковые роботы нам помогают. И пусть они не в состоянии дать ответы на челвеческие вопросы - это не их задача. Их задача найти в огромной массе страниц страницы с нужными словами. И они с этой заачей справляются. А вы решили, что ветряные мельницы не помогают, а ужасные монстры и боретесь с ними. Нет - мельницы, что бы молоть муку, а поиковые роботы и поиск, что бы искать документы в которых встречаются заданые слова. И ничего более.

А уж по поводу "Семантическая Сеть" - может эта идея и не супер. Но она явно для людей, а не для роботов. И ваши слова - просто лепет бабушки, которая боится компьютер и ситает, что там бесы сидят.

Говорить о контентном инете без поиска и поиска без инета... Это просто смешно. Мол резина колес без машины не поедет, а машина на ободах ехать может. Значит давайте ездить без резины.
Есть одно, есть другое. Если вы считаете, что поиск это паразит, то снимайте индексацию.
И многие, не контентные проекты так и делают (например сайты конструкторы вебстраниц - они не индексируются). А контектные проекты оставляют индексацию, потому что от нее есть польза.

Что касается соотношения - трафик и нагрузка на сервер / отдача юзеров поисковиком - ну уж если вы поставили слабенький движок и у вас от робота проц загибается, то это ваша проблема кривого движка. На нормальном движке вряд и проц загнется от одного робота. А траф сейчас вроде как для вас халявный. Так что даже 2 пользователя в день с поиска - окупают и проц и траф.
Так что обобщать не надо. Для большинства сайтов, приход пользователей с поиска с лихвой окупают затраты на индексирование. (вот опять пример неверных оценок).

Ваши мысли про "Да такого человека засмеют! Но никто не смеется, когда роботы-поисковики очень авторитарно наезжают на людей, требуя обеспечить им, паукам, правильную "пищу" за просто так. "
Никто этого не требует. И даже не кто не предлагает быть на первом месте в поиске. Просто поисковик (т.е. програмер и менеджер поисковой фирмы) решили, и правильно решили, что стоит показывать сверху сайты, которые лучше сделаны, которые имеют больше упоминаний искомых слов. И, вы не поверите, пользователи поисковиков тоже этого хотят.
Так что не роботы требуют, а пользователи поисковиков просят о таком ресурсе, где хорошо сделаные сайты в начале выдачи.

И это только часть ваших ошибок в статье. Реально - их намного больше. Но думаю и так сойдет.
Но вряд ли вы с чем нить согласитесь, поэтому и не писал ничего в первый раз.

Действительно, не соглашусь. Поехали:

> Ну хотя бы слова - "робот требует". Да никто от вас не требует.
> Если не хотите общаться с яндексом - не общайтесь.

Робот создает ситуацию, которая на самом деле - требует. Ситуация у меня описана (про "Яндекс.Новости"). Нам предложен выбор: либо вы участвуете на условиях стандарта, либо мы будем показывать украденные у вас новости, которые нам отдают другие сайты-партнеры.

То же самое касается и общего поиска. У человека был хороший сайт, который выдавался в первых позициях по тем ключевым словам, которые реально связаны с темой. Но через пару лет этот сайт не попадает даже в первую двадцатку: там теперь находятся "хорошо оптимизированные" сайты. И что человеку делать? Нанимать оптимизаторов, изучать язык робота? Вот это и называется - требует.

> на основании этой неточности вы сделали вывод об отказе ресурса
> от индексирования гуглом. А на самом деле WebmasterWorld.com не отказался

Отказался - именно тогда, когда у меня написано (ноябрь). И ссылки там на ноябрьские дискуссии. Хотя потом они действительно ввели свой стандарт Включения вместо Исключения (про эту идею тоже упомянуто). Но подчеркиваю, я в данном случае описывал конкретное событие ноября.

> И это было бы не "заставление" людей работать для пауков,
> а нормальное соблюдение правил w3c. А по вашему, нафига праила
> дорожного движения - что бы мешать ездить куда хочу?

Да, меня очень раздражают правила дорожного движения, согласно которым я, здоровый человек, должен почему-то стоять на переходе несколько минут, а потом сломя голову за 30 секунд бежать через дорогу - потому что-кто там решил, что человек в самоходной инвалидной коляске по определению важнее здорового человека. Я думаю, правило должно быть иное: я жду всего тридцать секунд, а потом несколько минут спокойно горит зеленый свет. А инвалиды на колясках пусть постоят. Куда им спешить-то? На кладбище?

> И пусть они не в состоянии дать ответы на челвеческие вопросы -
> это не их задача. Их задача найти в огромной массе страниц страницы
> с нужными словами.

Вот именно, это ИХ задача. А мне нужны ответы на человеческие вопросы. С какой же стати ИХ задача вдруг полностью подменяет всеобщее представление о поиске в Интернете?

> "Семантическая Сеть" - может эта идея и не супер.
> Но она явно для людей, а не для роботов

Это как это - "явно"? Как учение Маркса, которое "вечно, потому что верно"? Знаете, мне больше Энгельс нравится. Он был образованным человеком все-таки.

> Мол резина колес без машины не поедет, а машина на ободах
> ехать может. Значит давайте ездить без резины

Некорректная аналогия. Мы тут говорим о таких шинах, которые сами выбирают, куда ехать. И если такие шины появятся, то да, лучше без них. Дорогу должен человек выбирать. Пусть лучше на ободах.

Кстати сказать, мои знакомые на тачках в Москве - уже достаточно несамостоятельные люди. Они зачастую вынуждены ломать свои планы, потому что "в это время в центре пробки" или "я не пью, я за рулем". Типичный случай, когда техника уже управляет людьми, а не наоборот. Подробнее тут:
http://www.fuga.ru/articles/2005/08/autocult.htm

> А траф сейчас вроде как для вас халявный.

С чего бы это? Мы платим за хостинг, как все нормальные люди. И нам вовсе не надо, чтобы наш хостинг нам сказал - платите больше, и за пауков тоже. Надо кстати у Кулина из "Петерхоста" спросить, не включили ли они уже новый тарифный план "Паучиный", чтобы ублажить "Вебальту" (кстати, кто-то в этом мире вообще пользуется "Вебальтой"?)

> правильно решили, что стоит показывать сверху сайты, которые лучше
> сделаны, которые имеют больше упоминаний искомых слов. И, вы не поверите,
> пользователи поисковиков тоже этого хотят

Нет, не поверю. Я ежедневно общаюсь с пользователями, которые пересылают друг другу то, что им действительно важно - в виде ссылок на простенькие блоги (ЖЖ) и корявенькие форумы. А вот ссылки на "хорошо сделанные сайты" я как-то редко вижу в употреблении.

Может, мы с вами общаемся с разными пользователеми? Я вообще в курсе, что пользователи из рекламных отделов офлайновых компаний действительно любят ссылки на хорошо оптимизированные сайты. Им ведь надо перед начальством отчитываться "посещаемостью". А то, что после первого клика человек с этого сайта сваливает, ни за что не зацепившись - это ведь не забота рекламщиков, верно?

Проблема же с Питерхостом - ну здесь уже все было про него сказано. И уж явно, Питерхост не основоположник запретов, а хостинг, не справляющийся с нагрузкой (первично - не справляется).

В данном случае Петерхост только есть транспортная компания. И это не Газель не справляется с перевозкой бетонных блоков, а просто для оной перевозки надо заказывать какой-нибудь МАЗ или Урал. Я уже на http://habr.ru писал, что как только среднестатистический клиент будет готов совершать оплату согласно потреблённым ресурсам, вопрос просто не будет стоять. Пока среднестатистический клиент не готов даже говорить о такой оплате и всё сводит к разговору о том, что его пытаются ободрать как липку, приходится на правах коменданта общежития решать вопрос своими силами.

> или вы не тот стандарт читали, или не поняли, что читали

...или вы сами прочли невнимательно - потому что в статье указан конкретный стандарт конкретного сервиса, который может почитать любой, кто включится в партнерку "Яндекс.Новостей".

В СССР в очередной раз не бело секса...

Да ладно извинятся... Или че , доходы от рекламы упали :))))

яндекс существует 12 лет, а приносит доходы последние 4. ни люди ни их поведение ни их мотивация за это время не изменились. ни наше отношение к сбоям.

"ло аль ха лехем левадо" - как говорится в одной старой книжке.

Ну ладно, Илья, я все-таки умею различать корреляцию и причинно-следственную связь. В статье описана лишь корреляция, в терминах "Неужели?" и "Яндекс молчит". Никакой связи там не постулируется.

Однако само событие показалось мне подходящим поводом для того, чтобы рассказать общую историю: о ЗАВИСИМОСТИ от поисковиков. Даже если это был просто сбой - пример все равно работает на эту общую идею.

Ну и к тому же вы ведь действительно ничего не рассказываете людям. Приходится применять к вам стандартные научные методы для исследования скрытных животных. Гипотезы, экстраполяции и т.д.

Что значит, молчит? А вы разве спрашивали? Вот Вы ведь не спрашивая чего-то написали -- и в каком формате на это отвечать? Непонятно.

Насчет зависимости от роботов - согласен в целом с опасениями (и даже со стилем :-)). Главное, чтобы люди которые, за роботами стоят, были как можно "прозрачнее". Мы расказываем о себе довольно много, и в корпблоге и в личных блогах. Кто еще столько пишет про себя, как не яндексоиды?

> Кто еще столько пишет про себя, как не яндексоиды?

Я.

Жжошь! =)))

Ещё Быков много про себя пишет, да.

Что значит "что получают поисковики"? Сколько приносит Яше реклама яндекс директ , которая вставлена почти уже в выдачу? Другое дело , что качество поиска очень низкое. Яша пытается ситуацию улучшить , но все как всегда получается неуклюже , по тому как оптимизаторы тоже не дебилы и забьют рано или позно первую десятку выдачи тем чем надо им а не пользователям поисковика. С другой стороны это даже хорошо. Ведь только в конкурентной борьбе может родиться качественный и нужный пользователю продукт. А найти в яндексе то что вам нужно , с трудом , но всетаки можно. Даже когда доры забивают весь топ выдачи.

Имелось ввиду -- что они требуют взамен этого трафика с владельца сайта. Вопрос, что они получают вообще -- не рассматривается.

Ну, собственно можно не иметь ни одного человека своей аудитории, и тем не менее зарабатывать бабло. Пример - дорвеи.

Какое то время доры еще будут приносить деньги. Но будущее за белыми сайтами с адекватным человеческим постоянно обновляющимся контентом.Аудитория таких сайтов невольно сделает им белую оптимизацию.Я сам уже начал действовать в этом направлении и скажу вам ,что хороший белый сайт по отдаче не хуже любого топового дора. Правда это конечно намного более трудоемкий процесс (не два скрипта написАть :) ) Но что делать... Селяви