РАЗДЕЛЫ

Архив

Хостеры забанят "Вебальту"?

≡ | Новости | 24.08.2006 12:10

Нагрузка на оборудование хостинг-провайдеров и их каналы связи, которая возникает при пополнении индекса поисковиком, оказывается столь велика, что компании начинают задумываться о вводе ограничений на доступ паука "Вебальты" к размещенному у них контенту.

Посмотреть статью полностью

24.08.2006 12:26 | пишет Алексей Гурешов | ссылка

Честно говоря у меня вызывает неудомевание, как такой большой хостинг может позволять себе делать подобные заявления? Вы вообще не разбираетесь в проблеме вопроса.

Вы пишите что у вас клиенты приходят с пачками по 100 доменов под спам и вы их размещаете на серверах где сидят обычных клиенты. А вы не боитесь что завтра народ задолбается банить домены по штучно и обратит внимание что у вас всего лишь одна одна класса "C" например и вынесет ее полностью, включая ваших белых и пушистых клиентов?

Я вам по секрету скажу, подобные штуки начали происходить в адулт-дорвей-индустрии с 2001года (см крутоп например), вони было жутко сколько, с тех пор любой хостер берется за дорвеи только если они в разных сетях от основной массы клиентов. Фактически беря дорвейщиков вы подставляете всех своих клиентов и свою компанию, делая это так не умело.

Рассмотрим вариант номер два и опустим сайты пустышки с нагенерированными по 200тысяч страницами, которые например наш бот выкачивает у вас и создает Вам дискомфорт, а вы пишите после этого нам злобные письма про наши алгоритмы работы и так далее...

... сайты у вас приличные, клиенты нормальные, сидят на вируталах, пусть даже по 300 клиентов физически на связку из двух серверов-кластера. В среднем на 1 домене в РУНЕТе находится менее 200 страничек, тоесть всего 60тысяч хитов необходимо сделать нашему боту к вашему 1 серверу за 2 недели.
Вы считаете это много? По 5тысяч хитов в сутки...

Я бы посоветовал Вам пересмотреть свою позицию на вопросы дорвеев, клиентов и поисковых ботов, тк такими темпами все придет к тому, что Ваш хостинг будет просто забанен, а на вопросы владельцев сайтов почему сайт не проиндексирован будет один ответ - данный хостинг забанен и предложение его сменить.

24.08.2006 14:39 | пишет schors | ссылка

Вы меня ни с кем не перепутали? Алексей, ну-ка процитируйте меня, где я говорю, что я вне себя от счастья при виде пачки из 100 доменов? Совершенно другой вопрос, почему всё-таки такие пачки имеют место быть. "У него в паспорте не написано, что он вор. Наоборот, там написано что он честный советский гражданин" ~(c) Глеб Жиглов.
По поводу нагрузки я нахожусь в некотором затруднении с ответом. Позвольте, Вы всегда считаете нагрузку хитами в сутки?

24.08.2006 12:32 | пишет Noch | ссылка

Петерхост - верните лучше Энциклопедию Вымышленных Существ на тот адрес, с которого вы ее удалили! ))))))

25.08.2006 13:14 | пишет schors | ссылка

А что за энциклопедия? Честно говоря, мы почти ничего самостоятельно без каких-либо предпосылок не удаляем.

24.08.2006 13:13 | пишет Гость | ссылка

Да эту вебальту надо гнать ссаными тряпками.

24.08.2006 13:16 | пишет Антон Водол | ссылка

Если мой хостер забанит пауков Вебальты, я буду однозначно с ним ругаться.

В конце концов, такая сверхактивность - временное явление.
Зачем создавать панику на пустом месте!

24.08.2006 13:22 | пишет schors | ссылка

"Если мой хостер забанит пауков Вебальты, я буду однозначно с ним ругаться."

Я правильно понял, что Вы предлагаете хостерам на общественных началах поучавствовать в стартапе Вэбальты? А потом ещё какого-нибудь поисковика, а потом ещё. Спасибо.

24.08.2006 13:25 | пишет Алексей Гурешов | ссылка

Вам люди платят деньги, о каких общественных началах вы говорите?

Это ваша работа - размещать сайты клиентов за деньги, несправляетесь
или экономите на железе - в топку.

24.08.2006 14:56 | пишет schors | ссылка

Алексей, я так понимаю, Вы упорно добиваетесь имиджа невменяемого человека? :) "Удачный выбор!"(c)
Вы сами прекрсно понимаете, что формула "плачу - делаю что хочу" ложная. Приведу Вам в пример Ваше же высказывание почему-то в мой адрес про всякие спамо-помойки. Вы противоречите сами себе - клиент нам платит, делает что хочет, с чего это я буду заниматься его спамом? Но Вы на этом настаиваете. И буквально в следующем посте Вы вдруг заявляете "платит - делай". Как мне с Вами строить диалог?
Вы сами прекрасно понимаете, что платит клиент вполне определённые деньги за вполне определённые услуги и вполне формализованые ресурсы. Превысил расход - или платим другую цену, или уходим. Вполне нормальная модель бизнеса - чашка кофе стоит 30 рублей, с корицей 40 рублей, заваренный на песке - 100 рублей, а выглядит всё как чашка с горячим напитком кофейного цвета. Т.е. я так понимаю, что найду в Вашем лице поддержку увеличения тарифов за обход поисковыми роботами? Это меняет дело. До этого я только хотел адекватного поведения алгоритма бота, чтобы и овцы были целы и волки сыты.

24.08.2006 16:25 | пишет Гость | ссылка

Увеличивайте тарифы, ставьте нормальные сервера, баньте ботов
поисковых машин - в общем все что считаете нужным.

robots.txt по всем стандартам мы поддерживаем. Настройку задержки
мы сделаем, вдруг кому-то много 2 запросов в минуту от нас :)

Только я не понимаю на каком основании вы вообще имеет право своим
клиентам ставить какой либо robots.txt, нежели не тот, который сам клиент
поставил?

Ваша проблема в жадности и в том, что вы не отделяете дорвейщиков с
нагенеренными миллионами страниц от нормальных клиентов.
См пост Выше.

24.08.2006 17:15 | пишет schors | ссылка

Пожалуйста, раскройте подробнее, о какой жадности Вы говорите? Я честно говоря не понял из каких это предпосылок исходит.

24.08.2006 13:31 | пишет Антон Водол | ссылка

2 schors: Развиваю Вашу мысль:
В настоящее время хостеры участвуют в развитии всех существующих на данный момент поисковиков. Участие заключается в том, что хостеры не банят поисковых роботов.

Есть конечно доля логики, но все же данный подход правильным я бы не назвал.

------------------------------------
www.kmvcity.ru - Интернет-портал КМВ

24.08.2006 15:03 | пишет schors | ссылка

Всё правильно. Никакой тайной злобы в моих деяниях нет. Пока не мешало - не жалко. Противодействовать из принципа или зависти - это не мой метод.. Честно говоря, меня смущает тенденция роста количества поисковиков. Боюсь, проблемы будут не только с вэбальтой. Вэбальта просто в пике своего PR под руку попалась, я где-то что-то ляпнул, кто-то увидел, тема понеслась, вэбальта на переписку не пошла и тема в итоге разгорелась. Но, повторюсь, они не последние - только за вчера на хабре пронеслось две новости о новых поисковиках в России - поэтому хочется выработать стратегию поведения на будущее.

31.08.2006 16:23 | пишет юрий | ссылка

Нет. вы поняли не правильно, здесь предлагают хостерам заткнутся и молча делать свою работу! хватит ныть уже.

24.08.2006 13:17 | пишет adnull | ссылка

2webplanet:
Ужос у вас творится. Полуприватные обсуждения за новости выдаете..

2Алексей Гурешов:
Я честно говоря, не заметил никаких официальных заявлений. Обсуждения есть обсуждения. То что вебальта большую нагрузку создает, это вам любой скажет. В конечном итоге то страдают владельцы сайтов! Я вот вебальту сам заблочил, ибо обход моего сайта в 50 потоков нафиг мне не нужен, нагрузка такая, что реальные посетители не могут дождаться открытия страницы.

24.08.2006 13:31 | пишет Антон Водол | ссылка

То-то я и смотрю, ВЕСЬ РУНЕТ в последнее время стал тормозить не по-детски!
:-D

------------------------------------
www.kmvcity.ru - Интернет-портал КМВ

24.08.2006 13:24 | пишет Алексей Гурешов | ссылка

adnull, у нас нет 50 потоков к 1ому сайту, уже очень давно,
а то, что было было на этапе самого первого становления.

24.08.2006 13:24 | пишет Алексей Гурешов | ссылка

adnull, у нас нет 50 потоков к 1ому сайту, уже очень давно,
а то, что было было на этапе самого первого становления.

24.08.2006 13:26 | пишет Pacific | ссылка

А Петерхост давно себя неадекватно ведет по отношению к своим клиентам, контора, которая любит брать деньги, но не оказывать качественные услуги.

24.08.2006 13:38 | пишет Jack | ссылка

Вебальта - пуп Земли:-)

Правильное решение товарищи:"Банили, баним и будем банить, пока она не сдохнет..."

Ну на фига попу гармонь:-) ???????

24.08.2006 13:43 | пишет SergeAx | ссылка

Кажется, уважаемым гуру рунета нечем себя занять. Обсуждают какие-то совершенно отвлеченные вопросы, ответы на которые давным давно общеизвестны.

Во-первых, задача хостера — хостить и оказывать техподдержку. Всё, точка, конец цитаты.

Во-вторых, существует такой файл, как robots.txt. Очень советую почитать о нём поподробнее, это разрешит массу проблем как сейчас, так и в будущем. Если паук Вебальты не соблюдает robots.txt — это серьёзный баг, и его надо немедленно исправить.

24.08.2006 13:51 | пишет Гость | ссылка

http://www.webalta.net/ru/about_webmaster.html

24.08.2006 14:18 | пишет dead_mazai | ссылка

Чудесно битриксы к примеру на выделенных серверах от этого "скажэнного бота" падают и другие cms

24.08.2006 17:28 | пишет AVT | ссылка

Только динамические cms падают. Которые генерирует статику, как webdirector - им пофиг.

24.08.2006 14:21 | пишет Максим | ссылка

Баннить нужно, ибо достали уже эти безбашенные роботы, без задержки между запросами флудящие скрипты. Наставят пользователи себе UBB, и какой-нибудь тупой робот циклично и постоянно по нему гуляет, не выделяя то, что страницы то одни, а отличаются только номером сессии, которые во многих скриптах в URI запиханы.

А нагрузка от робота на много выше, чем от пользователей, так как выше интенсивность запросов редкопосещаемых, но зато ресурсоемких страниц.

Как только причиной перегрузки становится такой робот - _молча_ блокируем, что и Петерхосту желаем.

25.08.2006 14:59 | пишет qq | ссылка

ну, скажем так, фигачить сешен-айди в УРЛ тоже не есть правильный подход

24.08.2006 14:35 | пишет Ee | ссылка

Webalta рулит, а битрих распиаренный пшик, чтобы он хоть как-то работал, ему нужен дедикейтед. Пользуйтесь неткэтом - легкий, быстрый движок.

Скоро Webalta начнет гнать посетителей на наши сайты.

24.08.2006 14:38 | пишет Сергей | ссылка

скорее бы уже погнала :) ждемс

25.08.2006 20:32 | пишет Алексей | ссылка

Интернет-магазины santeri.ru, detmoda.ru работают на CMS IT.WEB. Посещаемость >2100 и >1600 в день соответственно. Виртуальный хостинг от sweb. Бот вэбальты заходит частенько, нагрузка не ощутима (кэширование используется по минимуму). Были проекты на Петерхост, ушли из-за плохой поддержки и сервиса...

24.08.2006 14:38 | пишет Сергей | ссылка

пусть каждый вебмастер сам решает - банить или нет.
цензуру в топку.

а то следом органичат доступ "только для РФ", т.к. западный траф денег стоит, а потом "только для М9" :)

2webalta - а почему бы не реализовать такую фичу для "бедных" на ресурсы хостеров
http://help.yahoo.com/help/us/ysearch/slurp/slurp-03.html

24.08.2006 19:49 | пишет SergeAx | ссылка

Это палка о двух концах. Сделаю я сайт на 100 000 страниц, поставлю ему crawl-delay: 600, и вперёд.

24.08.2006 14:44 | пишет minaton - это я | ссылка

Алексею Гурешову
Выпустите пресс-релиз о том, что новая версия вашего робота хорошая, умная и не такая жадная как прежние, сайты не портит, сервера не кладет, ведет себя спокойно.

24.08.2006 15:03 | пишет Ent | ссылка

узнаю старый добрый... ЛОР! :)

24.08.2006 15:23 | пишет Sergey Olshin | ссылка

Она у меня на форуме тусуется :-D
А мне нравится! Гость ( 85.21.193.106 ) Просмотр Главной Страницы Форума
Имя хоста для 85.21.193.106 - crawl-ru-85-21-193-106.webaltabot.com
Я тащусь, это мой самый любимый бот! Только он на моём форуме круглосуточно! Я его просто обожаю! :-))

С уважением, администратор медицинского форума http://medicinform.ru/

24.08.2006 16:09 | пишет Гость | ссылка

Вот, кстати, идея для веб-планеты: написать понятную статью с картинками про динамические вебсайт, кэширование и поле Last-Modified.
Сейчас, мне кажется, сложилась такая ситуация, когда большинство российских сайтов(мелких?) построены на говно-cms-ах, блого-енжинах и студентческих поделиях. Причем зачастую эти сайты можно было построить на статических файлах с ssi. Но все они конечно написаны на пхп и о таких вещах как Last-Modified не знают, потому что это нужно учитывать на стадии проектирования. И большинство сайтов, отдавая статический в общем-то контент, не отдают Last-Modified или, что на мой взгляд еще хуже, отдают текущее время в Last-Modified. Естественно, что это создает лишную нагрузку на веб-сервер, на субд и на канал. В обем в таком духе..

25.08.2006 02:39 | пишет Леха Андреев | ссылка

Если вы внимательно читаете "Вебланету", то должны знать, что мы об этом уже писали:
http://webplanet.ru/column/service/shepelev/2006/08/22/semanticweb.html

Да-да, это именно об этом, я не ошибся. И там даже написано, чем это все кончится.

24.08.2006 16:16 | пишет Гость | ссылка

Вот, кстати, и веб-планета отдает на HEAD запрос для текущего урла (http://webplanet.ru/news/telecom/2006/08/24/comments/webalta.html) реальное время и какие-то странные директивы:

7 Last-Modified: Thu, 24 Aug 2006 12:13:45 GMT
8 Cache-Control: no-store, no-cache, must-revalidate
9 Cache-Control: post-check=0, pre-check=0
10 Pragma: no-cache

Нафига?

24.08.2006 16:27 | пишет Алексей Гурешов | ссылка

Кривую дату документа отдают примерно 85% всех серверов в рунете,
поэтому проверить изменился он или нет можно только его скачав.

24.08.2006 16:39 | пишет Гость | ссылка

Вот, эффектная картинка могла бы быть: 25% сайтов рунета отдают дату модификации ресурса, из них 85% отдают ее не правильно (т.е. отдают текущую реальную дату). :-)
Кстате гугл даже пишет это в своей инструкции для вебмастеров:
Make sure your web server supports the If-Modified-Since HTTP header. This feature allows your web server to tell Google whether your content has changed since we last crawled your site. Supporting this feature saves you bandwidth and overhead.

24.08.2006 16:31 | пишет Areal | ссылка

Выдача от вебальты никакая, зато прописалась действительно капитально...
Закрыл от индексирования, вот успокоится бешенство матки, может будет смысл приоткрыть.

24.08.2006 16:36 | пишет Areal | ссылка

ЗЫ: Может Алексею Гурешову меньше стоит по форумам шляться и флудить, а стоит делом заняться?

24.08.2006 23:39 | пишет Гость | ссылка

Алексей менеджер. И это часть его работы, заходить на форумы и рассказывать о вебальте. Хотелось бы увидеть таких же людей от других известных поисковиков, к ним претензий было бы намного больше.

25.08.2006 19:08 | пишет Юpий Синoдов | ссылка

Какие у вас к ним были бы претензии?

24.08.2006 19:10 | пишет Заинтересованный | ссылка

Многие хостеры втихомолку вводят уже разные ограничения на всяких там безумных пауков.

24.08.2006 19:44 | пишет Phaker | ссылка

Вполне разумная позиция: банить Бешеного Бота, покуда трафик с Вебальты никакой. Это бизнес, а не благотворительность.

24.08.2006 23:43 | пишет BeTeP | ссылка

Чушь какая. Я вручную просматриваю трафик и бот ВебАльты ходит не многим чаще всех остальных поисковиков-динозавров. Я бы хотел посмотреть на числа автора статьи.
Бешенный Бот ставит задержки между индексацией страниц в 1-2 минуты, что DoS'ом ни назвать никак.
По статистике моего сайта, ВебАльта явно стала реже заходить, спустившись с концеиюльской ежедневности к серединоавгустовской еженесколькодневности.
Бешенный Бот ни ходит по 2-3 раза на одну и туже страницу за обход, как остальные динозавры.

25.08.2006 13:38 | пишет schors | ссылка

Чаще или нет - вообще сложно сказать. Исследование пока показывает, что мы вообще не можем формализовать принцип посещения поисовиками сайтов. Где живёт msn, где google, где Яндекс, а где Вэбальта. На данный момент мы не очень понимаем и принцип выставления задержек. Опять же - где как. Где 30 секунд, где 3 минуты, где полчаса, где час, а где - как оглашенный шпарит ровно так, как ему отдаёт страницы сервер. Где в один поток, где в несколько. Причём это тоже присуще всем перечисленым. Какое-то объяснимое наличие интеллекта пока замечено только за Яндексом. То ли в зависимости от задержки отдачи страницы, то ли от количества уже пройденных, то ли в зависимости от вложенности ссылки, Яндекс вдруг бросает сканирование и приходит уже совсем другим ботом и с радикально заниженной скоростью обхода. Я уже говорил выше - вопрос не в том, что вебальта самая плохая. Вопрос в том, что прожорливых поисковиков может быть ограниченное количество. Разговоры про то, что надо увещевать пользователей самостоятельно что-то там ограничивать вызывают только ироническую усмешку, поскольку поиск - это посетители для сайта. Редкий пользователь соизмеряет потери от снижения качетсва услуги с потерями от отказа индексации некоторых страниц, а то и поисковиков. Весь конфликт, приведший к истерике и эмоциям, состоит в свою очередь только в том, что Вэбальта считает, что вразумлением людей должны заниматься хостеры (и оно понятно, трудно обвинить поисковик в том, что он отказывается учить людей отказываться от поиска :), а представители хостеров этого делать не хотят (тоже понятно, поскольку стоимость занижена уже запредельно, и новый вот так с неба свалившийся расход никому не интересен). Если поискомания не прекратится, или если поисковики не пойдут на встречу - ждите через годик через полтора вселенского конфликта :) Я думаю, особого конфликта не будет в реалии. Сейчас Вэбальта поистерит, ещё кто-нибудь поистерит, потом все успокоятся и займуться делом. Сразу все и договорятся, и выработают какие-то концепции, и будет мир и покой :)

P.S. Совершенно другой вопрос, что пока гром не грянет - сами знаете что :) Пока люди не сталкиваются с реальной угрозой своему бизнесу, они найдут любые оправдания, лишь бы не брать себе лишнего в голову.

25.08.2006 03:14 | пишет Meniam | ссылка

Офтоп:

Порадовала первая ссылка:
ta.ru...

---
# Webalta и её дыры. Форум о поисковых системах
forum.searchengines.ru/showthread.php?s=d1339c1a420270e3e0f543fa813c9c13&t=6 .. (62 КБ) · 22.08.2006
Еще с сайта (75) · Рубрика: Поисковые системы
--

25.08.2006 13:14 | пишет Гость | ссылка

Гурешов прав, банить нужно хостеров, которые серваки под завязку набивают сайтами, а потом еще и жалуются на поисковики.

25.08.2006 15:08 | пишет Каменный Гость | ссылка

а я вообще не понимаю сути вопроса

1) вебальта, как пользователь канала, платит своему провайдеру
2) сайт платит за трафф своему провайдеру
3) провайдеры как-то между собой взаиморасчитываются

т.е. по идее, провам только счастье от Вебальты - бабла побольше?

25.08.2006 15:48 | пишет Гость | ссылка

To:schors
Господа, не знаю как там у вас в России, у нас на Западе уже давно траф без лимитный. Цены при этом дешевле чем в России на лимитированный траф. Как только хостер начнет за клиента решать каким поисковикам разрешить, а каким запретить индексацию сайта, останется в заднице.

To: Алексей Гурешов
А Вам, в таком случае, нужно просто поработать над системой и не строить наполионовских планов "типа в Сентябре начьнем уже Америку индексировать". С Россией разберитесь, до ума все доведите. А то проскачетесь по миру и пошлют вас на 3 буквы.

25.08.2006 16:44 | пишет schors | ссылка

Я ни в коем случае не мерял трафик. Если бы он был у нас платный, как на западе (к чему всё и идёт, я не знаю где это он на западе бесплатный для контент-проектов), проблемы бы не было вообще. Сразу бы все научились самостоятельно robots.txt прописывать нужный и т.д. Надеюсь. Я говорил о нагрузке, создаваемой например скриптами, во время обхода сервера.

25.08.2006 17:42 | пишет Leonid | ссылка

Где Вы там траф безлимитный на западе нашли? Там как раз на всех хостингах ограничения стоят типа 250 GB в месяц.

В домах нет ограничений - это правда.

25.08.2006 20:44 | пишет Гость | ссылка

он просто идиот, вот и все

27.08.2006 13:52 | пишет BeTeP | ссылка

Поддерживаю schors в плане того, что поисковиков и правда становится довольно много. Практически любой программист может написать что-нибудь адское и повесить это на Masterhost. Я в своей сисеме написал подобие фильтра, по запаху находящего бота ( невозможный со стороны пользовотеля обход сайта как по времени, так и по структуре сайта ). Часто замечаю, что боты сидят на многих серверах, предоставляющих хостинг, на многих "широкопрофильных исследовательских серверах" и так далее.
Хостером я не являюсь, но если бы столкнулся с подобной проблемой, думаю заморочился и, выделив поисковых ботов, отдавал бы им контент на 1 Кб/с, они ведь не клиенты, могут и подождать, а ждать они будут.

27.08.2006 13:52 | пишет BeTeP | ссылка

07.09.2006 12:09 | пишет Гость | ссылка

Если бы мой хостер стал резать трафик ботов, я бы его сменил не задумываясь.
Назвался груздем - полезай в кузов!

07.09.2006 12:51 | пишет Игорь | ссылка

Я не буду пользоваться услугами хостера, который банит боты поисковых систем.

http://holyhalo.livejournal.com

18.12.2006 12:19 | пишет Гость | ссылка

Мне лично Яндекс всё грузит, а трафик не даёт.

18.12.2006 19:43 | пишет Comm. | ссылка

Peterhost вообще слабенький хостер - что с него взять? Нечего. Запретили бы вообще все поисковики и сидели бы и радовались малой нагрузке из-за отсутствия клиентов.