Вебпланета - «АнтиСпам»: «Спамооборона» и «Спамтест» не выдерживают полевых испытаний - Comments

Re:

Михаил — Wed, 01 Jun 2005 11:53:11 +0400

Очень репрезентативная выборка :)
Очень интересное определение спама :)))

Статья для выбивания денег, вот и все.

Re: 2 sus

Александр Горный — Tue, 31 May 2005 23:35:09 +0400

>Может, но одно дело искать письмо среди
> завалов спама, а другое -- среди
> относительно небольшого
> количества "человеческих" писем, на
> которые достаточно глянуть на Subj, и
> понятно что это за письмо и чего в нем.
> Так что не надо сравнивать тут FP -- зело > лукавый результат будет

Это Вы что с чем сравниваете? Есть два варианта:
1. Отсутствие антиспама - гора спама, среди которого ничего не найти и огромный ручной FP.
2. Наличие антиспама - и несчастные убитые письма искать уже бесполезно, их отрезал антиспам.

> Написал я запрос и закинул его в десятка
> полтора веб-студий. Про те, которые не
> ответили на мое письмо, я сразу и думать > забыл. На фиг мне разбираться, менеджер
> там фиговый, что на письмо ответить
> вовремя не умеет или антиспам фиговый
> письма режет -- нужна мне эта
> головная 'боль...

Если Вам безразлична доставка Ваших писем - это типичный спам :-) Надо резать :-)

Re:

HappyByte — Tue, 31 May 2005 11:27:20 +0400

> Это все ерунда, вот мои земляки, белорусы,
> изобрели антиспам, эффективность - ~ 99,5%. Не
> верите? -
> http://www.it-belarus.net/news/read/2005/05/16/
>
> А вы... :))

Мы не изобрели, а просто прикрутили bayes фильтрацию на основе DSPAM, которая на стороне сервера работает и не сильно привязана к почтовой системе.

http://ext.by/tmp/antispam.png

Re:

VPupkin — Tue, 31 May 2005 11:15:22 +0400

> На счет того что 0% не бывает я с Вами полностью согласен. Но вот
> намерянные в отчете 1.5% и 10% для Спамообороны и Mail.ru -- это
> явно какой-то бред.

Кстати можно составить такую выборку, что ошибок типа false positive
будет 100%. Отсылать нормальные письма, выбирать ошибочно
распознанные. Про false negatives вообще говорить нет смысла, и так
понятно что любые правила можно обойти.

> Это означает, что на моих 200 нормальных письмах в день Спамооборона
> пометит как спам 3 письма в день. Так вот не бывает такого.

Если у вас фиксированный список контактов, однотипная почта, то вполне
возможно что ошибок действительно не будет. Только в общем случае это
ни о чем не говорит, согласитесь.

> Т.е. иногда попадет какое-то письмо, но случается это не часто.

Таки надо просматривать пофильтрованный спам, вот сухой остаток
получается.

> А как можно жить с потерей 20(!!!) нормальных писем в день я вообще
> представить не могу. Вряд ли в Mail.ru такие дураки, что внедрили
> себе негодный софт.

Софт как софт, и далеко не дураки. Только заявления по поводу
количества ошибок типа false positive до сих пор третьей стороной не
проверялись. Одни только громкие заявления в статьях и документации.
Зачем думать о том что у кого-то может потеряться почта? Подумаешь, ну
бывает сколько то ошибок, чего их мерить. Какие то жалкие проценты
потерянных писем, ерунда, никто не заметит.

Re:

Arseny — Tue, 31 May 2005 10:51:46 +0400

Значит, это не было Важное Деловое Предложение, раз обеим сторонам пофиг, что его не доставили.

А если это Очень Важное Письмо, то отправитель позаботится о том, чтобы получить подтверждение доставки тем или иным способом.

Re:

sus — Tue, 31 May 2005 10:33:47 +0400

2 VPupkin:

> Ну не верю я заявлениям про 0% ошибок типа
> false positive, так действительно не бывает.
> А вот цифры тестирования действительно похожи
> на правду.

На счет того что 0% не бывает я с Вами полностью согласен. Но вот намерянные в отчете 1.5% и 10% для Спамообороны и Mail.ru -- это явно какой-то бред. Это означает, что на моих 200 нормальных письмах в день Спамооборона пометит как спам 3 письма в день. Так вот не бывает такого. Т.е. иногда попадет какое-то письмо, но случается это не часто. А как можно жить с потерей 20(!!!) нормальных писем в день я вообще представить не могу. Вряд ли в Mail.ru такие дураки, что внедрили себе негодный софт.

2 Александр Горный:

> а кто сказал, что в ручной FP не может
> попасть письмо с рейсом жены или Деловым
> Предложением?

Может, но одно дело искать письмо среди завалов спама, а другое -- среди относительно небольшого количества "человеческих" писем, на которые достаточно глянуть на Subj, и понятно что это за письмо и чего в нем. Так что не надо сравнивать тут FP -- зело лукавый результат будет.

> на письмо непринятое антиспапом отправитель
> получит сообщение о недоставке и, возможно,
> сумеет среагировать

Ага, щаз! Вот надо мне сайт было сделать. Написал я запрос и закинул его в десятка полтора веб-студий. Про те, которые не ответили на мое письмо, я сразу и думать забыл. На фиг мне разбираться, менеджер там фиговый, что на письмо ответить вовремя не умеет или антиспам фиговый письма режет -- нужна мне эта головная боль...

2 Юрuо:
Решпект!

Re:

Юрuо — Tue, 31 May 2005 00:34:09 +0400

Кой ... ЮНЕСКО полезло в то, что плохо понимают. 2 тысячи писем послали, молодцы! Только какая это выборка??
Цифровым наследием бы лучше занимались - лучше получается.

Re:

Александр Горный — Tue, 31 May 2005 00:29:20 +0400

FP и не должен быть равен нулю. Он всего лишь должен быть меньше ручного FP (а кто сказал, что в ручной FP не может попасть письмо с рейсом жены или Деловым Предложением?).
Более того, на письмо непринятое антиспапом отправитель получит сообщение о недоставке и, возможно, сумеет среагировать. Письмо убитое клавишей Del пропадает бесследно.

Re:

РБ — Mon, 30 May 2005 23:51:42 +0400

Это все ерунда, вот мои земляки, белорусы, изобрели антиспам, эффективность - ~ 99,5%. Не верите? - http://www.it-belarus.net/news/read/2005/05/16/

А вы... :))

Re:

VPupkin — Mon, 30 May 2005 20:17:14 +0400

Почтой пользуются не только для пересылки поздравлений с новым годом, но и для деловой переписки. Бывает что потеря одного единственного нормального письма может привести к серьезным убыткам или к конфликту. Для корпоративного почтового сервера, а не бомжатника типа mail.ru или mail.yandex.ru, это особенно критично. Ну не верю я заявлениям про 0% ошибок типа false positive, так действительно не бывает. А вот цифры тестирования действительно похожи на правду. Вот и верь после этого людям :)

Re:

sus — Mon, 30 May 2005 20:12:47 +0400

> От лукавого эта боязнь потери <единицы % >
> легитимных писем

Ню-ню... Будете Вы рады, если в эти самые единицы %% попадет письмо с ценным деловым предложением? Или просьба супруги встретить ее самолет рейс номер такой-то?...

Re:

Phil Kulin — Mon, 30 May 2005 19:58:54 +0400

От лукавого эта боязнь потери <единицы % > легитимных писем. При том потоке, когда спам реально мешает, как правильно заметил sply - ручная обработка тоже будет давать большой процент ложных удалений. При этом письмо может потеряться без всяких фильтров по дороге по тысяче и одной причине. Вобщем, FP - это охота на ведьм. Как правильно сказали авторы статьи - надо просто захотеть бороться со спамом. Пока 90% пользователей почты вставляет палки в колёса не о чем даже разговаривать.

Re:

монолит — Mon, 30 May 2005 18:00:39 +0400

2 Бондарев Александр

Вай! Какая интересная идея :) Надо, чтобы пользователь платил за письма, и "получал" от своего провайдера деньги за принятые письма. У кого баланс, то не платит никому, у кого баланса нет, тот платит. Обычный пользователь держит баланс элементарно. Спаммеру баланс держать будет трудно, надо будет откуда-то получить (привлечь) тучу писем самому себе, чтобы потом из своего лимита отсылать спам. Таким образом провайдерам надо будет уже отслеживать трафик не от спаммера, а к нему еще задолго до того, как он будет начинать отсылать спам (к кому идет много почтового траффика, тот потенциальный спаммер :) :) :) )

2 Zynaps

Евгений Альтовский — Mon, 30 May 2005 16:37:55 +0400

> не удосужится оценить корректность методики и полученных "сырых" данных

Предлагайте критерии корректности методики. Сейчас как раз начинается вторая фаза тестирования, где будет учтен ряд скользких моментов, высплывших в процессе тестирования.

Хотя авторы честно написали в предисловии, что массив невелик и предостерегли от экстраполяции полученных выводов.

С другой стороны, когда статистика оперирует величинами с 6 и более нулями, то на этом фоне потеря одного-двух писем вроде бы и не страшна, а когда я узнаю, что вполне конкретное письмо могло до меня не дойти - это совсем другое.

Re:

рекламист — Mon, 30 May 2005 15:53:18 +0400

Выводы

...

2. На использованном для исследования массиве сообщений электронной почты «Спамооборона» показала преимущество перед «Спамтестом».

...

4. Яндексу стоит подумать о коммерческой эксплуатации системы спам-фильтрации «Спамооброна».

------------------------------

Хорошие выводы. Особенно через неделю после запуска Спамообороны "в народ", имею в виду запуск коробочной версии для корпоративных пользователей :)

Re:

рекламист — Mon, 30 May 2005 15:43:29 +0400

По-моему, Альтовского понесло. Куда-то не в ту сторону.

2 Liman

Бондарев Александр — Mon, 30 May 2005 15:42:23 +0400

У меня тоже вся почта проходит через спамоборону. Доходят всего 8-10 писем спама в день (до спамобороны было 40-50). Из них действительно много английских (доходят почти все) - видимо, яндекс плохо фильтрует нерусские письма.

Насчет нового протокола - было бы неплохо, если бы отправитель платил получателю, скажем 10 центов за кажое письмо. Деньги это не большие, да и для большенства пользователей особых затрат не будет, если получать столько же писем, сколько отправлять. Зато спам будет совершенно невыгоден!

Хотя менять протоколы никто не будет - слишком это хлопотно.

Re:

Liman — Mon, 30 May 2005 15:23:31 +0400

Кстати, рекомендую сам отчет почитать. Это совсем недолго - собственно "исследования" с выводами там оказалось на полторы странички 14 кеглем :)
Ну и конечноже сама методика поражает своей.. ммм.. незамысловатостью, убогостью выборки и неинтерпритабельностью результатов. Так например из 3 тышш писем (оцените "масштабность" исследования, кстати) до тестируемых систем хотябы просто дошло: в случае с яндексом - две трети, а в случае с мэйлом - всего одна треть!! И, кстати, буду благодарен всякому, кто расшифрует мне категории корреспонденции, приведенные там в таблице "Ошибки определения".
Ну а единственный вопрос, который меня преследовал неотступно начиная с третьего абзаца текста, следующий: "Где бы мне найти такого инвестора, чтобы так ненапряжно отрабатывать влитый баблос? а?" :)

Re:

sply — Mon, 30 May 2005 15:01:57 +0400

Еще для сравнения можно оценить точность распознавания спама обычным человеком, чтобы удивиться тому, что на потоке 1 000 писем в день человек будет неправильно обрабатывать 2-5%%.

Re:

huh — Mon, 30 May 2005 14:58:02 +0400

>Согласно предварительным выводам авторов
>отчета, автоматическая фильтрация
>электронной почты может привести как к
>пропуску спама, так и к удалению
>легитимных писем

Очень глубокий вывод.

Исследователи...

Zynaps — Mon, 30 May 2005 14:17:23 +0400

Проблема этого, да и, видимо, любого другого, такого "исследования" в том, что никто кроме въедливых "спецов в теме" не удосужится оценить корректность методики и полученных "сырых" данных. Но зато будут широко цитировать выводы и таблички.

Постыдились бы, елки-палки.

Re:

Liman — Mon, 30 May 2005 14:08:21 +0400

Эээ.. Может быть, мое мнение будет гораздо более легковесным и менее авторитетным, зато на сто проц. "полевым".
Хитрым образом юзаю бесплатно спамоборону (через аккаунт на яндехе) следующим образом: два админских почтовых ящика с разных российских доменов (кто админил знает количество спама); один адрес с 2003 г. сильно засвечен за бугром (опенсерс проект) и пара российских ящиков возрастом не менее четырех лет.. Юзаю спамоборону с конца прошлого года.
Результаты: ни одного потерянного легитимного письма, эпизодические, не чаще двух (sic!) писем в месяц проникновения спама. Ну, разве что в последний месяц чтото у них там сбоить стало и я получил, по моим подсчетам уже аж шестое помоечное пистмо..
В общем, уважаемая тусовка.. Я сейчас радуюсь спамовым письмам как дитя :) И тщательно каждое прочитываю в надежде отыскать - чем же оно смогло обмануть спамоборону :)
Про другие системы врать не буду - просто не юзал. Наш корпоративый мыльник сидит на СпамАссасине: спам просачивается не часто, но с раздражающим постоянством.

Re:

монолит — Mon, 30 May 2005 12:56:15 +0400

>настоящий заслон на его пути может >поставить только закон и негативное >отношение к спаму со стороны общества
Конечно это утопия... но я думаю, что заслон спаму может поставить какой-либо другой общепринятый почтовый протокол, когда для отсылки информационного письма предварительно надо получить согласие отправителя получать с этого адреса письма, а потом провести авторизацию в другую сторону... Плюс к этому реализовать возможность сделать возможным указание статуса (принимаю почту ото всех, принимаю почту только от авторизированных, принимаю почту от тех авторизированных, которые находятся в белом списке) и т.д. Что-то по типу ICQ. Когда для достижения цели: отсылки рекламного сообщения нужно будет проходить несколько шагов, часть из которых к тому же желательно сделать выполняемыми вручную, то эффективность спама, как рекламного средства, вымрет из-за своей нерентабельности.

«АнтиСпам»: «Спамооборона» и «Спамтест» не выдерживают полевых испытаний

admin — Mon, 30 May 2005 11:36:16 +0400

Рабочая группа проекта «АнтиСпам» опубликовала предварительную версию отчета о результатах тестирования российских спам-фильтров в реальных условиях.