Вебпланета - Робот как враг народа - Comments

Человечество

Гость — Tue, 22 Jan 2008 13:53:56 +0300

Человечество обречено, роботы победят.

Киборги, изначально будут на стороне людей, но вовремя переметнутся на сторону роботов когда дела у людей станут совсем плохи.

да останется

mdgraphic — Sat, 10 Feb 2007 04:30:24 +0300

да останется Вебпланета так же...

это все точно подмечено. Сам за статистикой сервера смотрел и по статистике 76% посетителей по прямому набору, 12% поисковики, остальное ссылки.
Вот и стоит подумать, нужноли тратится на раскрутку в поисковике, может дешевле и быстрее подругому...

молью побиты уши и души, изъела ржавчина плоть
http://www.mdgraphic.ru/

Интересно. Вот

не Робот — Tue, 30 Jan 2007 01:08:44 +0300

Интересно. Вот только про Quintura - зря. Я поначалу тоже воспринял как игрушку, но когда ни гугль ни яндекс не смоглди меня порадовать чудесами релевантности, а редкую вещь инфу ну очень надо было найти, я сделал как все почти отчаявшиеся люди, что обращаются к колдунам - взялся за "дрессировку" куинтуры, причём онлайновой её версии. Факт в том, что через пять минут инфа была найдена.
Вывод. Делая такое серьёзное исследование, как ваше, невольно позволяешь себе неточности в мелочах - а большинство просто и не станет проверять, вам доверятся, как эксперту. Далее - по Сент-Экзюпери, если хотите...

Проблема же с

Phil Kulin — Fri, 22 Sep 2006 15:06:14 +0400

Проблема же с Питерхостом - ну здесь уже все было про него сказано. И уж явно, Питерхост не основоположник запретов, а хостинг, не справляющийся с нагрузкой (первично - не справляется).

В данном случае Петерхост только есть транспортная компания. И это не Газель не справляется с перевозкой бетонных блоков, а просто для оной перевозки надо заказывать какой-нибудь МАЗ или Урал. Я уже на http://habr.ru писал, что как только среднестатистический клиент будет готов совершать оплату согласно потреблённым ресурсам, вопрос просто не будет стоять. Пока среднестатистический клиент не готов даже говорить о такой оплате и всё сводит к разговору о том, что его пытаются ободрать как липку, приходится на правах коменданта общежития решать вопрос своими силами.

Почитал

Андрей — Tue, 12 Sep 2006 12:25:50 +0400

Почитал статейку. Повеселился... Автор заявляет, что о проблемах защиты от роботов у нас только начали задумываться. Он просто не знает реальности.
Оно и понятно - защита более надежна, если о ее существовании никто не догадывается, пока не нарвется.

Я - главный программист сети порталов Preiskurant.ru.
Наши порталы еще с 2002 года используют оригинальную систему защиты от "нежелательных" роботов. Система весьма простая, но эффективная. Работает на эвристическом принципе, что позволяет отлавливать даже новых роботов.
К слову сказать, упомянутый в статье робот "Вебальты" только недавно перестал блокироваться системой.

Какое то время

CJDomino — Sun, 10 Sep 2006 14:38:13 +0400

Какое то время доры еще будут приносить деньги. Но будущее за белыми сайтами с адекватным человеческим постоянно обновляющимся контентом.Аудитория таких сайтов невольно сделает им белую оптимизацию.Я сам уже начал действовать в этом направлении и скажу вам ,что хороший белый сайт по отдаче не хуже любого топового дора. Правда это конечно намного более трудоемкий процесс (не два скрипта написАть :) ) Но что делать... Селяви

Жжошь! =))) Ещё

Гость — Sat, 09 Sep 2006 03:43:34 +0400

Жжошь! =)))

Ещё Быков много про себя пишет, да.

В СССР в

Гость — Fri, 08 Sep 2006 11:34:45 +0400

В СССР в очередной раз не бело секса...

Ну, собственно

sinodov — Fri, 08 Sep 2006 11:03:05 +0400

Ну, собственно можно не иметь ни одного человека своей аудитории, и тем не менее зарабатывать бабло. Пример - дорвеи.

Спасибо

Mover — Fri, 08 Sep 2006 10:58:14 +0400

Спасибо огромное за статью! Читал и плакал. =) От радости...
Надо же так точно передать всю мою деятельность, которой я занимаюсь почти 4 года на сайте "Законодавство України" (http://zakon.rada.gov.ua)?! Просто в шоке, если честно.
Одно радует, много умных и опытных людей, помогавших мне, и которым я доверяю, думают именно так же, как Вы - автор этой статьи. Для меня это значит, что я буду теперь больше Вам доверять. =) А доверие - это то, что дизайном не купишь! Доверие в инете - самое ценное, после контента. А может и перед... кто знает? Лично я меняю свою лояльность к сайтам на полезную информацию, которую хочу от них получить. И чем больше мне источник даёт нужной информации, тем я чаще его посещаю. Я также заметил, что аналогично действует большинство моих пользователей. Единственный способ влиять на посещаемость сайта - отдавать или не отдавать интересный контент. А все ссылки-обменники и прочие рекламные кампании, и даже поисковики, не приносят постоянного и существенного (лояльного) трафика. Мне к тому же пришлось бороться с другими роботами, не только поисковыми, а и наглыми воришками, которые за счет нашего сайта пытались составлять свои коммерческие базы данных. Хотя поисковики - это те же комерсанты, они берут наш контент, выдают за свой и насыщают его рекламой. Жуть! Как капитализм в наихудшей его форме. Они совершенно не заботятся о тех людях, кто размещает информацию, и тем самым отдают частичку себя. Поисковики - как "черные дыры" Интернета!!! Заглатывая информацию, они удерживают её в себе и всё, что проходит рядом - искривляется. Поэтому всякая глобализация имеет две стороны: видимую хорошую - её не немного, и невидимую плохую - подводные камни есть у каждого блага. Точнее любое благо можно использовать во вред. Я сейчас пытаюсь описать теорию, что "Информация - это энергия, и к ней применимы почти те же принципы и законы, как и для любой другой энергии". Если кому интересно - милости прошу в свой блог: http://info-energy.blogspot.com

> Кто еще

l_e_x_a — Thu, 07 Sep 2006 21:08:35 +0400

> Кто еще столько пишет про себя, как не яндексоиды?

Я.

Что значит,

iseg — Thu, 07 Sep 2006 20:44:10 +0400

Что значит, молчит? А вы разве спрашивали? Вот Вы ведь не спрашивая чего-то написали -- и в каком формате на это отвечать? Непонятно.

Насчет зависимости от роботов - согласен в целом с опасениями (и даже со стилем :-)). Главное, чтобы люди которые, за роботами стоят, были как можно "прозрачнее". Мы расказываем о себе довольно много, и в корпблоге и в личных блогах. Кто еще столько пишет про себя, как не яндексоиды?

яндекс

iseg — Thu, 07 Sep 2006 20:38:44 +0400

яндекс существует 12 лет, а приносит доходы последние 4. ни люди ни их поведение ни их мотивация за это время не изменились. ни наше отношение к сбоям.

"ло аль ха лехем левадо" - как говорится в одной старой книжке.

Зато новости

Виктор Галенко — Thu, 07 Sep 2006 19:07:29 +0400

Зато новости там кастрированные - без наших гипер-ссылок на описываемые проекты, без комментариев, иногда просто вообще обрезки какие-то без указания источника... Но бедный робот вынужден собирать этот мусор, все эти новостные дорвеи вместо оригиналов, потому что так велел хозяин!

Супер! Более точно описать Я-Новости не удалось никому. Андрееву респект!

Имелось ввиду --

Lermont — Thu, 07 Sep 2006 18:17:40 +0400

Имелось ввиду -- что они требуют взамен этого трафика с владельца сайта. Вопрос, что они получают вообще -- не рассматривается.

ab -n 10

Юрий ака geraxe — Thu, 07 Sep 2006 15:23:58 +0400

ab -n 10 http://webplanet.ru/
This is ApacheBench, Version 1.3d apache-1.3
Copyright (c) 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Copyright (c) 1998-2002 The Apache Software Foundation, http://www.apache.org/

Benchmarking webplanet.ru (be patient).....done
Server Software: Apache/2.0.54
Server Hostname: webplanet.ru
Server Port: 80

Document Path: /
Document Length: 39953 bytes

Concurrency Level: 1
Time taken for tests: 141.507 seconds
Complete requests: 10
Failed requests: 0
Broken pipe errors: 0
Total transferred: 404040 bytes
HTML transferred: 399530 bytes
Requests per second: 0.07 [#/sec] (mean)
Time per request: 14150.70 [ms] (mean)
Time per request: 14150.70 [ms] (mean, across all concurrent requests)
Transfer rate: 2.86 [Kbytes/sec] received

Connnection Times (ms)
min mean[+/-sd] median max
Connect: 0 1 0.0 1 1
Processing: 3282 14150 10377.1 12206 37436
Waiting: 3281 14149 10377.1 12206 37435
Total: 3282 14151 10377.0 12207 37436
ERROR: The median and mean for the initial connection time are more than twice the standard
deviation apart. These results are NOT reliable.

Percentage of the requests served within a certain time (ms)
50% 12207
66% 12664
75% 17912
80% 25852
90% 37436
95% 37436
98% 37436
99% 37436
100% 37436 (last request)

Я смотрю боты вас совсем достали.. Все силы на отбивание от них уходят =)

Лех, не надо -

из Яндекса — Thu, 07 Sep 2006 14:46:31 +0400

Лех, не надо - забанили вас не за это, а совсем за другое

Ну ладно, Илья,

l_e_x_a — Thu, 07 Sep 2006 14:01:09 +0400

Ну ладно, Илья, я все-таки умею различать корреляцию и причинно-следственную связь. В статье описана лишь корреляция, в терминах "Неужели?" и "Яндекс молчит". Никакой связи там не постулируется.

Однако само событие показалось мне подходящим поводом для того, чтобы рассказать общую историю: о ЗАВИСИМОСТИ от поисковиков. Даже если это был просто сбой - пример все равно работает на эту общую идею.

Ну и к тому же вы ведь действительно ничего не рассказываете людям. Приходится применять к вам стандартные научные методы для исследования скрытных животных. Гипотезы, экстраполяции и т.д.

Что значит "что

CJDomino — Thu, 07 Sep 2006 09:12:57 +0400

Что значит "что получают поисковики"? Сколько приносит Яше реклама яндекс директ , которая вставлена почти уже в выдачу? Другое дело , что качество поиска очень низкое. Яша пытается ситуацию улучшить , но все как всегда получается неуклюже , по тому как оптимизаторы тоже не дебилы и забьют рано или позно первую десятку выдачи тем чем надо им а не пользователям поисковика. С другой стороны это даже хорошо. Ведь только в конкурентной борьбе может родиться качественный и нужный пользователю продукт. А найти в яндексе то что вам нужно , с трудом , но всетаки можно. Даже когда доры забивают весь топ выдачи.

Хорошая статья,

Lermont — Thu, 07 Sep 2006 01:03:46 +0400

Хорошая статья, интересная.
Только не могу во всём согласиться.

Как-то плохо в ней разделены "полнотекстовые транстляции", которые действительно не особо выгодны ресурсу (если абстрагироваться от факта, что распространение той или оной информации вам выгодно независимо от места, где пользователь её прочтёт) с обычными заходами роботов, набирающих индекс и в будущем приносящих халявный трафик на ВАШ сайт и позволяющий увеличить доходы с рекламы на вашем сайте.

Многие хорошие сайты получают с поисковиков 30-50% трафика (про доры молчим), а что в обмен получают поисковики?

Для большинства сайтов именно поисковики являются основным источником трафика -- каталоги, рассылки, банерообмен и прочее плетутся далеко позади. И ситуация имеет тенденцию к ещё большему уменьшению роли тех же каталогов, при ещё большем увеличении роли поисковиков (хоть есть и противоположенная тенденция что многие люди удовлетворяют все свои информационные и комуникативные потребности посредсвом посещения десятка или двух определённых сайтов и больше им ничего не нужно).

Да ладно

CJDomino — Wed, 06 Sep 2006 22:30:19 +0400

Да ладно извинятся... Или че , доходы от рекламы упали :))))

В целом -

iseg — Wed, 06 Sep 2006 21:45:04 +0400

В целом - весело. спасибо.

Жаль только, что очень примерному совпадению по времени независимых событий внутри Яндекса однозначно (и конспирологично) приписывается причинно-следственная природа. Но если нет никакой связи между новым антидорвейным автоматом и позавчершним сбоем трех роботных серверов, то построения сильно рушатся. За сбой мы извиняемся, починили его уже к вечеру, но к дорвеям и борьбе с ними он совершенно никаким боком не причастен (и наоборот).

Действительно,

l_e_x_a — Wed, 06 Sep 2006 21:29:31 +0400

Действительно, не соглашусь. Поехали:

> Ну хотя бы слова - "робот требует". Да никто от вас не требует.
> Если не хотите общаться с яндексом - не общайтесь.

Робот создает ситуацию, которая на самом деле - требует. Ситуация у меня описана (про "Яндекс.Новости"). Нам предложен выбор: либо вы участвуете на условиях стандарта, либо мы будем показывать украденные у вас новости, которые нам отдают другие сайты-партнеры.

То же самое касается и общего поиска. У человека был хороший сайт, который выдавался в первых позициях по тем ключевым словам, которые реально связаны с темой. Но через пару лет этот сайт не попадает даже в первую двадцатку: там теперь находятся "хорошо оптимизированные" сайты. И что человеку делать? Нанимать оптимизаторов, изучать язык робота? Вот это и называется - требует.

> на основании этой неточности вы сделали вывод об отказе ресурса
> от индексирования гуглом. А на самом деле WebmasterWorld.com не отказался

Отказался - именно тогда, когда у меня написано (ноябрь). И ссылки там на ноябрьские дискуссии. Хотя потом они действительно ввели свой стандарт Включения вместо Исключения (про эту идею тоже упомянуто). Но подчеркиваю, я в данном случае описывал конкретное событие ноября.

> И это было бы не "заставление" людей работать для пауков,
> а нормальное соблюдение правил w3c. А по вашему, нафига праила
> дорожного движения - что бы мешать ездить куда хочу?

Да, меня очень раздражают правила дорожного движения, согласно которым я, здоровый человек, должен почему-то стоять на переходе несколько минут, а потом сломя голову за 30 секунд бежать через дорогу - потому что-кто там решил, что человек в самоходной инвалидной коляске по определению важнее здорового человека. Я думаю, правило должно быть иное: я жду всего тридцать секунд, а потом несколько минут спокойно горит зеленый свет. А инвалиды на колясках пусть постоят. Куда им спешить-то? На кладбище?

> И пусть они не в состоянии дать ответы на челвеческие вопросы -
> это не их задача. Их задача найти в огромной массе страниц страницы
> с нужными словами.

Вот именно, это ИХ задача. А мне нужны ответы на человеческие вопросы. С какой же стати ИХ задача вдруг полностью подменяет всеобщее представление о поиске в Интернете?

> "Семантическая Сеть" - может эта идея и не супер.
> Но она явно для людей, а не для роботов

Это как это - "явно"? Как учение Маркса, которое "вечно, потому что верно"? Знаете, мне больше Энгельс нравится. Он был образованным человеком все-таки.

> Мол резина колес без машины не поедет, а машина на ободах
> ехать может. Значит давайте ездить без резины

Некорректная аналогия. Мы тут говорим о таких шинах, которые сами выбирают, куда ехать. И если такие шины появятся, то да, лучше без них. Дорогу должен человек выбирать. Пусть лучше на ободах.

Кстати сказать, мои знакомые на тачках в Москве - уже достаточно несамостоятельные люди. Они зачастую вынуждены ломать свои планы, потому что "в это время в центре пробки" или "я не пью, я за рулем". Типичный случай, когда техника уже управляет людьми, а не наоборот. Подробнее тут:
http://www.fuga.ru/articles/2005/08/autocult.htm

> А траф сейчас вроде как для вас халявный.

С чего бы это? Мы платим за хостинг, как все нормальные люди. И нам вовсе не надо, чтобы наш хостинг нам сказал - платите больше, и за пауков тоже. Надо кстати у Кулина из "Петерхоста" спросить, не включили ли они уже новый тарифный план "Паучиный", чтобы ублажить "Вебальту" (кстати, кто-то в этом мире вообще пользуется "Вебальтой"?)

> правильно решили, что стоит показывать сверху сайты, которые лучше
> сделаны, которые имеют больше упоминаний искомых слов. И, вы не поверите,
> пользователи поисковиков тоже этого хотят

Нет, не поверю. Я ежедневно общаюсь с пользователями, которые пересылают друг другу то, что им действительно важно - в виде ссылок на простенькие блоги (ЖЖ) и корявенькие форумы. А вот ссылки на "хорошо сделанные сайты" я как-то редко вижу в употреблении.

Может, мы с вами общаемся с разными пользователеми? Я вообще в курсе, что пользователи из рекламных отделов офлайновых компаний действительно любят ссылки на хорошо оптимизированные сайты. Им ведь надо перед начальством отчитываться "посещаемостью". А то, что после первого клика человек с этого сайта сваливает, ни за что не зацепившись - это ведь не забота рекламщиков, верно?

Но всегда есть

ThisNight — Wed, 06 Sep 2006 20:20:38 +0400

Но всегда есть система счисления по умолчанию.
Так что говоря 2х2=11 вы не правы.
Конечно, апосля вы любите говорить, что ипользовали другую истему счисления. Но это уже потом, а до этой оговорки вы допустили ошибку.

И то в математике. А в реальности, если еще и реальность. А о ней, вы как то забываете. Помните, объективная реальность? Это то, что происходит на самом деле. И конечно можно говорить, что у каждого свое мнение и что в десятичной системе счисления 2х2=11, мол я так это вижу. Но реальностью это не будет.

По повду статьи. Ну хотя бы слова - "робот требует". Да никто от вас не требует. Если не хотите общаться с яндексом - не общайтесь. Ваши слова "робот требует" - это уже не есть реальность.

Про неточность про WebmasterWorld.com Вам уже написали без меня. Но могу добавить, что на основании этой неточности вы сделали вывод об отказе ресурса от индексирования гуглом. А на самом деле WebmasterWorld.com не отказался. А запрет для левых роботов - это не новость для вебмастера. (правда обычно идет от обратного - какой робот грузит, того и отключают. Но итог один - левые боты отключены).

Что же касатся "отдачи" - то не так сложно сделать сайт, способный отдавать код - страница не изменена. И это было бы правильно. И траф не жрался бы и коректно бы все работало. И это было бы не "заставление" людей работать для пауков, а нормальное соблюдение правил w3c.
А по вашему, нафига праила дорожного движения - что бы мешать ездить куда хочу?
Так и ваши слова, мол хочу творить все что хочу, не соблюдая стандарты - это переврот с ног на голову.

Да и сама мысль, что роботы нас эксплуатируют - такие полуправдами заманивают в сектанство. Поисковые роботы нам помогают. И пусть они не в состоянии дать ответы на челвеческие вопросы - это не их задача. Их задача найти в огромной массе страниц страницы с нужными словами. И они с этой заачей справляются. А вы решили, что ветряные мельницы не помогают, а ужасные монстры и боретесь с ними. Нет - мельницы, что бы молоть муку, а поиковые роботы и поиск, что бы искать документы в которых встречаются заданые слова. И ничего более.

А уж по поводу "Семантическая Сеть" - может эта идея и не супер. Но она явно для людей, а не для роботов. И ваши слова - просто лепет бабушки, которая боится компьютер и ситает, что там бесы сидят.

Говорить о контентном инете без поиска и поиска без инета... Это просто смешно. Мол резина колес без машины не поедет, а машина на ободах ехать может. Значит давайте ездить без резины.
Есть одно, есть другое. Если вы считаете, что поиск это паразит, то снимайте индексацию.
И многие, не контентные проекты так и делают (например сайты конструкторы вебстраниц - они не индексируются). А контектные проекты оставляют индексацию, потому что от нее есть польза.

Что касается соотношения - трафик и нагрузка на сервер / отдача юзеров поисковиком - ну уж если вы поставили слабенький движок и у вас от робота проц загибается, то это ваша проблема кривого движка. На нормальном движке вряд и проц загнется от одного робота. А траф сейчас вроде как для вас халявный. Так что даже 2 пользователя в день с поиска - окупают и проц и траф.
Так что обобщать не надо. Для большинства сайтов, приход пользователей с поиска с лихвой окупают затраты на индексирование. (вот опять пример неверных оценок).

Ваши мысли про "Да такого человека засмеют! Но никто не смеется, когда роботы-поисковики очень авторитарно наезжают на людей, требуя обеспечить им, паукам, правильную "пищу" за просто так. "
Никто этого не требует. И даже не кто не предлагает быть на первом месте в поиске. Просто поисковик (т.е. програмер и менеджер поисковой фирмы) решили, и правильно решили, что стоит показывать сверху сайты, которые лучше сделаны, которые имеют больше упоминаний искомых слов. И, вы не поверите, пользователи поисковиков тоже этого хотят.
Так что не роботы требуют, а пользователи поисковиков просят о таком ресурсе, где хорошо сделаные сайты в начале выдачи.

И это только часть ваших ошибок в статье. Реально - их намного больше. Но думаю и так сойдет.
Но вряд ли вы с чем нить согласитесь, поэтому и не писал ничего в первый раз.

А я для себя ту

paralell — Wed, 06 Sep 2006 20:08:10 +0400

А я для себя ту же идею в начале лета еще озвучил
и запретил всех в robots.txt
пока только для некоммерческих проектов, но...

Статья

CJDomino — Wed, 06 Sep 2006 18:01:09 +0400

Статья рульная.Воспринимается именно как наезд конкретно на Яшу. И есть за что.С другой стороны - что вы хотите от сервиса , про который написано в любой книге по интернету? :) Я бы тоже себя крутым считал и условия всем диктовал.
Так что придется нам контент под ботов подстраивать и кормить семьи сотрудников Яндекса

статья дельная,

решпект — Wed, 06 Sep 2006 17:18:23 +0400

статья дельная, порадовал словарик сленгов - мерси!
http://daria.awardspace.com/

> или вы не тот

l_e_x_a — Wed, 06 Sep 2006 15:13:34 +0400

> или вы не тот стандарт читали, или не поняли, что читали

...или вы сами прочли невнимательно - потому что в статье указан конкретный стандарт конкретного сервиса, который может почитать любой, кто включится в партнерку "Яндекс.Новостей".

> Алексей, вы же

l_e_x_a — Wed, 06 Sep 2006 15:11:20 +0400

> Алексей, вы же математик. Хотя похоже уже нет.

Бывших математиков не бывает, как говорил Степашин. Именно поэтому я не приемлю аргументы типа "поставлено с ног на голову". Вы уж для начала определите "голову" и "ноги", а потом поговорим.

И кстати, не забудьте определить "логику", на которую вы так упорно ссылаетесь. Потому что логик много разных. Есть и такие, в которых 2 X 2 = 11 (к примеру, в троичной системе исчисления, которая, кстати, наиболее близка к системе по основанию E и потому более выгодна для некоторых вычислительных алгоритмов).

Да, статья

BuGaGa — Wed, 06 Sep 2006 14:46:07 +0400

Да, статья мощная, респект.

Доносы или так называемый ручной отбор, может завалить чёрные дорвеи, но вряд ли завалит белые. Кроме того дорвеестроителям стоит немножко договорится и начать стучать на белые сайты, заявки эти обрабатываются людьми, а людские ресурсы в отличие от машинных ограничены, получим резкое замедление обработки заявок.
А потом разработаем робота который шлёт фальшиыфе заявки о поисковом спаме и дорвеях автоматом а они там пусть 200 лет с ними разбираются :))

Я согласен с тем, что дорвеи исчезнут только тогда, когда исчезнут поисковики, а до этого война будет бесконечной.

Робот как враг народа

l_e_x_a — Tue, 05 Sep 2006 14:10:45 +0400

Поисковики все чаще показывают нам то, что выгодно им самим, и при этом все настойчивее требуют отдавать им наш контент в выгодном для них формате. Но люди уже раскусили трюки пауков-паразитов и начали их давить. А может, Интернет вообще будет гораздо лучше без глобальных поисковиков?