Вебпланета - "Яндекс" проводит DoS-атаки - Comments

ну фто вы фто вы

Гость — Wed, 24 Jun 2009 15:39:28 +0400

ну фто вы фто вы - честь яндекса была под угрозой. надо было спешить. а на опечатки типа малого "рунета" - надо переспросить у автора - он все выправит. как мне кажется - мне так кажется.

Фу, зачем

Гость — Wed, 24 Jun 2009 14:59:42 +0400

Фу, зачем хамить?

Так ведь это

l_e_x_a — Wed, 24 Jun 2009 03:21:43 +0400

Так ведь это ненастоящий Садовский ответил. Неужели вы думаете, что великий Садовский, к светящимся одеждам которого мечтает прикоснуться каждый оптимизатор страны, мог бы написать слово "рунет" с маленькой буквы, как безграмотная деревенская девка с журфака МГУ? Нет, господа, сие никак невозможно!

Чота Андреев

Гость — Wed, 24 Jun 2009 01:55:24 +0400

Чота Андреев как-то стух. Удовлетворился объяснением?

Спасибо за

Александр Садовский — Tue, 23 Jun 2009 19:58:06 +0400

Спасибо за дискуссию. Никакой мистики и мстительности робота в описанном инциденте нет. Данные о безобразном поведении нашего робота правдивые, но не отражают полной картины.

1. Робот Яндекса выкачал 19238 страниц с 8506 (восьми тысяч пятисот шести) поддоменов uaprom.net и с 6896 (шести тысяч восьмисот девяноста шести) поддоменов ruprom.net, а не с двух хостов, как может показаться из заметок.

2. На каждый хост (из ~ 15000) делалось не более одного обращения в 1,1 или 2 секунды (в зависимости от размера хоста).

Сейчас http://uaprom.net/robots.txt и http://ruprom.net/robots.txt установили Crawl-Delay в 0,5, благодаря чему увеличили нагрузку на своих хосты (по умолчанию Crawl-Delay 1,1 или 2 секунды).

3. Все поддомены ruprom.net и uaprom.net лежат на двух IP. Автоматические алгоритмы Яндекса определили ruprom.net и uaprom.net как хостинги (они и позиционируют себя как надежные хостинги, см. http://ruprom.net/tour-4 и http://uaprom.net/tour-4).

Для надежного хостинга, на серверах которого находится много сайтов, мы создавали нагрузку, не превышающую 12 запросов в секунду на IP.

4. User-Agent отдавался "YandexSomething" и это наша вина. Это был не новостной, а один из поисковых роботов, у которого мы забыли изменить дефолтное представление. Ошибку исправили, спасибо, робота поставили в угол.

Резюме: нагрузка создаваемая на IP хостингов ruprom.net и uaprom.net не превышала лимиты, допустимые при обходе большинства хостингов. Мы понимаем, что она может быть избыточной для небольших хостингов и постараемся лучше дифференцировать нагрузку на большие и малые хостинги. Надеемся, что сервера рунета будут встречать перевоспитанного робота благосклонно.

Таковы реалии

bbgolik — Tue, 23 Jun 2009 04:44:03 +0400

Таковы реалии рынка: подстройся под старшего брата и тебе воздастся трафом.
А амбиции только погубят маленький бизнес. Так и в жизни, кстати.

На момент

Гость — Mon, 22 Jun 2009 14:37:57 +0400

На момент публикации этого комментария, комментария про запрос комментария не было получено.

Товарищ еврей, вы хотя бы лотерейный билет купите, ога?

Яндекс никога

Гость — Mon, 22 Jun 2009 10:57:46 +0400

Яндекс никога не извиняется. У Яндекса - самые правильные боты, а если ваш Интернет плохо работает с этими ботами - меняйте Интернет.

Детка, в 1996 твой

Другой Гость — Mon, 22 Jun 2009 09:47:56 +0400

Детка, в 1996 твой сайт был элементом умственной мастурбации.

обьявление

Гость — Sun, 21 Jun 2009 22:29:14 +0400

обьявление

храждане барыхи.
Заявления принимаются только
при наличии документов на оплату.
Частная компания никому ничего не обязана.
Кому не нравится - не ходите на наш интернет.
Мы будем рады вас не видеть.

А вы у

Гость — Sun, 21 Jun 2009 18:17:15 +0400

А вы у Садовского спрашивали объяснение-то, ботофобы херовы?

Да-да,

l_e_x_a — Sun, 21 Jun 2009 01:56:00 +0400

Да-да, покупайте хостинг у компании Яндекс.Хостинг - и у вас не будет проблем с ботами.

Заводите сайты на Яндекс.Народе - и тогда Яндекс проиндексирует их раньше других.

Покупайте рекламу в Яндекс.Директе - и ваши сайты сразу поднимутся в обычной выдаче.

Ведите блоги на Яндекс.Блогах - и они будут первыми в поиске по блогам.

Транслируйте тексты спизженных новостей в Яндекс.Новости - и они будут показываться в поиске вместо оригиналов.

Отдавайте краденые книги в Яндекс.Книги - и этот сервис найдет именно пиратскую версию вместо авторской.

Короче, самое честное зеркало Рунета работает еще честнее, если на него помолиться и принести ему в жертву барашка.

Это ты глаза

l_e_x_a — Sun, 21 Jun 2009 01:24:00 +0400

Это ты глаза разуй, ботофил. Чего ты мне цитируешь-то? Перепев Рабиновича со слов Кошкина, вольно пересказавшего ответ саппорта?

Естественно, Мастерхост извинился перед своими клиентами. Но я нигде не видел слов Мастерхоста о том, что у них "примитивная защита от DoS". Это версия товарища Садовского из Яндекса. Очевидно, что сам Яндекс не любит извиняться. Зато искусство отмазок у них поставлено на небывалую высоту.

И кстати, основная тема новости - это бот YandexSomething, долбивший два сайта со скоростью 20 запросов в секунду. Чертовски интересно услышать версию Садовского на этот раз. Что-то типа "мы всего лишь перенесли время обхода с утреннего на вечернее, чтобы дать нашим пользователям самые свежие новости".

Ага, в справочнике компаний они новости нашли. Несколько мегабайт сразу. В девять вечера.

Четырехглазик,

Гость — Sat, 20 Jun 2009 22:45:37 +0400

Четырехглазик, купи себе еще пару стеклышек:

"После того, как руководство "Мастерхоста" узнало о проблеме из закрытой рассылки ЕЖЕ, по словам Сергея Кошкина, с ним сразу же связались представители компании, сообщили о внесенных исправлениях и извинились за доставленные неудобства"

Мастерхост исправился и извинился. Чуешь чем пахнет?

То что ты готов отсосать Кулину, который ни хера не делает, только свистит про свою гильдию, как и любому другому чуваку, написавшему какую-то херь в robots.txt (можешь посмотреть что с ним стало), уже известно. Эксгибиционизмом больше заниматься не надо

Детка, мой сайт

l_e_x_a — Sat, 20 Jun 2009 15:56:00 +0400

Детка, мой сайт появился в Сети задолго до появления Гугла и Яндекса.
И его видело достаточно народу - без поисковиков.
А если ты в то время ходил под стол, это твоя проблема.

на сайте

Mstar - mstarproject.com — Sat, 20 Jun 2009 13:05:39 +0400

на сайте http://partmaster.com.ua/ есть конечно новости, но индексил робот явно не их.

Это баг у них

Mstar - mstarproject.com — Sat, 20 Jun 2009 13:03:06 +0400

Это баг у них вылез, у меня тоже не новостйно сайт, но обычный яндекс бот стал подписываться новостным почему-то. Вот переписка с суппортом:
Здравствуйте, Михаил!

С IP-адреса 87.250.231.34 ходит индексирующий робот Яндекса, который в логах
должен представляться как Yandex/1.01.001 (compatible; Win16; I). По какой
причине он представляется серверу, на котором расположен Ваш сайт, как
"YandexSomething/1.0", мы постараемся в ближайшее время определить.

Просим Вас высказать свое мнение о полученном ответе:
3d9204c1&ticketnumber=200906179004345...

--
С уважением, Платон Щукин
Служба поддержки Яндекс.Ру
http://help.yandex.ru/

Михаил Старовойт написал(а):

>
> Адрес сайта: partmaster.com.ua
> Сидит на сайте новостной бот, хотя его быть не должно, атк как сайт не
> новостной и никогда им не был.
>
> Вот пример лога:
> 87.250.231.34 - - [17/Jun/2009:09:27:29 +0300] GET
> /?action=catalog_show&cat=chrysler&t_id=3796&id_pic=37273 HTTP/1.1 "200" 31832
> "-" "YandexSomething/1.0" "-"
>
> Если это ваш бот - исправьте проблему, если кто-то маскируется под него -
> дайте мне знать, я забаню.
>
> Спасибо за помощь.

так и

Гость — Sat, 20 Jun 2009 10:46:18 +0400

так и есть..
кучка неудачников на дешевом хостинге жалуется на свою никчемную судьбу..

без поисковых

Гость — Sat, 20 Jun 2009 10:43:58 +0400

без поисковых систем - о твоем сайте узнают единицы и нахрен никому не будет нужен.. так что не вякай..
а сайты оптимизаторов - ни что иное как паразитирование на несовершенстве поисковых машин.. именно из за них в инете все труднее найти нужную инфу..

А помойму это

http://chereshov.livejournal.com/ — Sat, 20 Jun 2009 09:14:41 +0400

А помойму это тупой пиар компании SmartWeb.
Которая действительно не знает что такое роботс, никогда бы свои сайты не доверл бы такой компании...

подтверждаю -

Гость — Sat, 20 Jun 2009 01:18:57 +0400

подтверждаю - они в Яндексе с дуба рухнули. Программировать "лучщая интернет компания России" - не умеет

Кстати - боты Рамблер - не лучще.

> А по ссылке

l_e_x_a — Sat, 20 Jun 2009 01:04:30 +0400

> А по ссылке видно

Нет, по ссылке этого не видно. Там видна только цитата Садовского. И никакого "то же самое" от Мастерхоста там нет.

Зато там есть слова специалиста по хостингу Фила Кулина, который комментирует слова Садовского:

"Это и вообще былинный отказ. Все прошлые попытки договориться успехом не увенчались".

"Александр

Гость — Sat, 20 Jun 2009 00:09:45 +0400

"Александр Садовский заявил, что это связано всего лишь с переносом обхода сайтов ботами с ночного времени на дневное, и назвал DoS-защиту "Мастерхоста" несложной - дескать, это она ошиблась, а вовсе не "Яндекс".

А по ссылке видно, что руководство Мастерхоста заявляло то же самое, и извинилось перед клиентами за недопущение Яндекса на сайте.

Откуда "дескать"? Андреев, вы уже круче мастехостовцев разбираетесь в хостинге?

У них есть

l_e_x_a — Fri, 19 Jun 2009 22:46:34 +0400

У них есть robots.txt. Но если робот заваливает сайт, то это говенный робот, а вовсе не сайт виноват. Потому что сайты делаются для людей, а не для роботов.

Исключения составляют сайты оптимизаторов. Оптимизаторы не являются людьми по определению: они всего лишь биомасса на службе робота. Но это не значит, что робот имеет право переносить отношения со своей рабской биомассой на всех нормальных людей.

В натуре,

l_e_x_a — Fri, 19 Jun 2009 22:37:22 +0400

В натуре, поправили. Хотя если боты ходят с разных IP, это вполне себе distributed.

Автор,

Йцукен — Fri, 19 Jun 2009 21:37:05 +0400

Автор, поправьте заголовок. Это никак не DDOS, максимум DoS-атака.

Дикие люди. Не

Йцукен — Fri, 19 Jun 2009 21:35:02 +0400

Дикие люди. Не знают, что такое robots.txt и панель вебмастера.

И эту компания

Гость — Fri, 19 Jun 2009 20:48:25 +0400

И эту компания называют лучшей среди IT! В этом смысле браво местному IT!

"Яндекс" проводит DoS-атаки

admin — Fri, 19 Jun 2009 19:13:50 +0400

Владельцы сайтов UAProm.net и RUProm.net забанили бешеного робота YandexSomething, делавшего по 20-30 запросов в секунду.