Вебпланета - Хостеры забанят "Вебальту"? - Comments

Peterhost вообще

Comm. — Mon, 18 Dec 2006 18:43:24 +0300

Peterhost вообще слабенький хостер - что с него взять? Нечего. Запретили бы вообще все поисковики и сидели бы и радовались малой нагрузке из-за отсутствия клиентов.

Мне лично

Гость — Mon, 18 Dec 2006 11:19:46 +0300

Мне лично Яндекс всё грузит, а трафик не даёт.

Я не буду

Игорь Богачев — Thu, 07 Sep 2006 12:51:50 +0400

Я не буду пользоваться услугами хостера, который банит боты поисковых систем.

http://holyhalo.livejournal.com

Если бы мой

Гость — Thu, 07 Sep 2006 12:09:01 +0400

Если бы мой хостер стал резать трафик ботов, я бы его сменил не задумываясь.
Назвался груздем - полезай в кузов!

Нет. вы поняли

юрий — Thu, 31 Aug 2006 16:23:41 +0400

Нет. вы поняли не правильно, здесь предлагают хостерам заткнутся и молча делать свою работу! хватит ныть уже.

Поддерживаю

BeTeP — Sun, 27 Aug 2006 13:52:29 +0400

Поддерживаю schors в плане того, что поисковиков и правда становится довольно много. Практически любой программист может написать что-нибудь адское и повесить это на Masterhost. Я в своей сисеме написал подобие фильтра, по запаху находящего бота ( невозможный со стороны пользовотеля обход сайта как по времени, так и по структуре сайта ). Часто замечаю, что боты сидят на многих серверах, предоставляющих хостинг, на многих "широкопрофильных исследовательских серверах" и так далее.
Хостером я не являюсь, но если бы столкнулся с подобной проблемой, думаю заморочился и, выделив поисковых ботов, отдавал бы им контент на 1 Кб/с, они ведь не клиенты, могут и подождать, а ждать они будут.

Поддерживаю

BeTeP — Sun, 27 Aug 2006 13:52:15 +0400

Поддерживаю

BeTeP — Sun, 27 Aug 2006 13:52:09 +0400

он просто

Гость — Fri, 25 Aug 2006 20:44:10 +0400

он просто идиот, вот и все

Интернет-магази

Алексей — Fri, 25 Aug 2006 20:32:08 +0400

Интернет-магазины santeri.ru, detmoda.ru работают на CMS IT.WEB. Посещаемость >2100 и >1600 в день соответственно. Виртуальный хостинг от sweb. Бот вэбальты заходит частенько, нагрузка не ощутима (кэширование используется по минимуму). Были проекты на Петерхост, ушли из-за плохой поддержки и сервиса...

Какие у вас к

sinodov — Fri, 25 Aug 2006 19:08:46 +0400

Какие у вас к ним были бы претензии?

Где Вы там траф

Leonid — Fri, 25 Aug 2006 17:42:20 +0400

Где Вы там траф безлимитный на западе нашли? Там как раз на всех хостингах ограничения стоят типа 250 GB в месяц.

В домах нет ограничений - это правда.

Я ни в коем

schors — Fri, 25 Aug 2006 16:44:29 +0400

Я ни в коем случае не мерял трафик. Если бы он был у нас платный, как на западе (к чему всё и идёт, я не знаю где это он на западе бесплатный для контент-проектов), проблемы бы не было вообще. Сразу бы все научились самостоятельно robots.txt прописывать нужный и т.д. Надеюсь. Я говорил о нагрузке, создаваемой например скриптами, во время обхода сервера.

To:schors Господа,

Гость — Fri, 25 Aug 2006 15:48:21 +0400

To:schors
Господа, не знаю как там у вас в России, у нас на Западе уже давно траф без лимитный. Цены при этом дешевле чем в России на лимитированный траф. Как только хостер начнет за клиента решать каким поисковикам разрешить, а каким запретить индексацию сайта, останется в заднице.

To: Алексей Гурешов
А Вам, в таком случае, нужно просто поработать над системой и не строить наполионовских планов "типа в Сентябре начьнем уже Америку индексировать". С Россией разберитесь, до ума все доведите. А то проскачетесь по миру и пошлют вас на 3 буквы.

а я вообще не

Каменный Гость — Fri, 25 Aug 2006 15:08:36 +0400

а я вообще не понимаю сути вопроса

1) вебальта, как пользователь канала, платит своему провайдеру
2) сайт платит за трафф своему провайдеру
3) провайдеры как-то между собой взаиморасчитываются

т.е. по идее, провам только счастье от Вебальты - бабла побольше?

ну, скажем так,

qq — Fri, 25 Aug 2006 14:59:43 +0400

ну, скажем так, фигачить сешен-айди в УРЛ тоже не есть правильный подход

Чаще или нет -

schors — Fri, 25 Aug 2006 13:38:39 +0400

Чаще или нет - вообще сложно сказать. Исследование пока показывает, что мы вообще не можем формализовать принцип посещения поисовиками сайтов. Где живёт msn, где google, где Яндекс, а где Вэбальта. На данный момент мы не очень понимаем и принцип выставления задержек. Опять же - где как. Где 30 секунд, где 3 минуты, где полчаса, где час, а где - как оглашенный шпарит ровно так, как ему отдаёт страницы сервер. Где в один поток, где в несколько. Причём это тоже присуще всем перечисленым. Какое-то объяснимое наличие интеллекта пока замечено только за Яндексом. То ли в зависимости от задержки отдачи страницы, то ли от количества уже пройденных, то ли в зависимости от вложенности ссылки, Яндекс вдруг бросает сканирование и приходит уже совсем другим ботом и с радикально заниженной скоростью обхода. Я уже говорил выше - вопрос не в том, что вебальта самая плохая. Вопрос в том, что прожорливых поисковиков может быть ограниченное количество. Разговоры про то, что надо увещевать пользователей самостоятельно что-то там ограничивать вызывают только ироническую усмешку, поскольку поиск - это посетители для сайта. Редкий пользователь соизмеряет потери от снижения качетсва услуги с потерями от отказа индексации некоторых страниц, а то и поисковиков. Весь конфликт, приведший к истерике и эмоциям, состоит в свою очередь только в том, что Вэбальта считает, что вразумлением людей должны заниматься хостеры (и оно понятно, трудно обвинить поисковик в том, что он отказывается учить людей отказываться от поиска :), а представители хостеров этого делать не хотят (тоже понятно, поскольку стоимость занижена уже запредельно, и новый вот так с неба свалившийся расход никому не интересен). Если поискомания не прекратится, или если поисковики не пойдут на встречу - ждите через годик через полтора вселенского конфликта :) Я думаю, особого конфликта не будет в реалии. Сейчас Вэбальта поистерит, ещё кто-нибудь поистерит, потом все успокоятся и займуться делом. Сразу все и договорятся, и выработают какие-то концепции, и будет мир и покой :)

P.S. Совершенно другой вопрос, что пока гром не грянет - сами знаете что :) Пока люди не сталкиваются с реальной угрозой своему бизнесу, они найдут любые оправдания, лишь бы не брать себе лишнего в голову.

А что за

schors — Fri, 25 Aug 2006 13:14:44 +0400

А что за энциклопедия? Честно говоря, мы почти ничего самостоятельно без каких-либо предпосылок не удаляем.

Гурешов прав,

Гость — Fri, 25 Aug 2006 13:14:23 +0400

Гурешов прав, банить нужно хостеров, которые серваки под завязку набивают сайтами, а потом еще и жалуются на поисковики.

Офтоп: Порадова

Meniam — Fri, 25 Aug 2006 03:14:38 +0400

Офтоп:

Порадовала первая ссылка:
ta.ru...

---
# Webalta и её дыры. Форум о поисковых системах
forum.searchengines.ru/showthread.php?s=d1339c1a420270e3e0f543fa813c9c13&t=6 .. (62 КБ) · 22.08.2006
Еще с сайта (75) · Рубрика: Поисковые системы
--

Если вы

l_e_x_a — Fri, 25 Aug 2006 02:39:20 +0400

Если вы внимательно читаете "Вебланету", то должны знать, что мы об этом уже писали:
http://webplanet.ru/column/service/shepelev/2006/08/22/semanticweb.html

Да-да, это именно об этом, я не ошибся. И там даже написано, чем это все кончится.

Чушь какая. Я

BeTeP — Thu, 24 Aug 2006 23:43:33 +0400

Чушь какая. Я вручную просматриваю трафик и бот ВебАльты ходит не многим чаще всех остальных поисковиков-динозавров. Я бы хотел посмотреть на числа автора статьи.
Бешенный Бот ставит задержки между индексацией страниц в 1-2 минуты, что DoS'ом ни назвать никак.
По статистике моего сайта, ВебАльта явно стала реже заходить, спустившись с концеиюльской ежедневности к серединоавгустовской еженесколькодневности.
Бешенный Бот ни ходит по 2-3 раза на одну и туже страницу за обход, как остальные динозавры.

Алексей

Гость — Thu, 24 Aug 2006 23:39:39 +0400

Алексей менеджер. И это часть его работы, заходить на форумы и рассказывать о вебальте. Хотелось бы увидеть таких же людей от других известных поисковиков, к ним претензий было бы намного больше.

Это палка о

SergeAx — Thu, 24 Aug 2006 19:49:28 +0400

Это палка о двух концах. Сделаю я сайт на 100 000 страниц, поставлю ему crawl-delay: 600, и вперёд.

Вполне

Phaker — Thu, 24 Aug 2006 19:44:03 +0400

Вполне разумная позиция: банить Бешеного Бота, покуда трафик с Вебальты никакой. Это бизнес, а не благотворительность.

Многие хостеры

Заинтересованный — Thu, 24 Aug 2006 19:10:37 +0400

Многие хостеры втихомолку вводят уже разные ограничения на всяких там безумных пауков.

Только

AVT — Thu, 24 Aug 2006 17:28:59 +0400

Только динамические cms падают. Которые генерирует статику, как webdirector - им пофиг.

Пожалуйста,

schors — Thu, 24 Aug 2006 17:15:36 +0400

Пожалуйста, раскройте подробнее, о какой жадности Вы говорите? Я честно говоря не понял из каких это предпосылок исходит.

Вот, эффектная

Гость — Thu, 24 Aug 2006 16:39:19 +0400

Вот, эффектная картинка могла бы быть: 25% сайтов рунета отдают дату модификации ресурса, из них 85% отдают ее не правильно (т.е. отдают текущую реальную дату). :-)
Кстате гугл даже пишет это в своей инструкции для вебмастеров:
Make sure your web server supports the If-Modified-Since HTTP header. This feature allows your web server to tell Google whether your content has changed since we last crawled your site. Supporting this feature saves you bandwidth and overhead.

ЗЫ: Может

Areal — Thu, 24 Aug 2006 16:36:00 +0400

ЗЫ: Может Алексею Гурешову меньше стоит по форумам шляться и флудить, а стоит делом заняться?

Хостеры забанят "Вебальту"?

Revizor — Thu, 24 Aug 2006 12:10:47 +0400

Нагрузка на оборудование хостинг-провайдеров и их каналы связи, которая возникает при пополнении индекса поисковиком, оказывается столь велика, что компании начинают задумываться о вводе ограничений на доступ паука "Вебальты" к размещенному у них контенту.