Вебпланета - Тестирование различных методов блокировки спама - Comments

Re:

Gray — Sat, 14 Feb 2004 11:25:08 +0300

Да все проще гораздо. Я же указал - в статистике не учитывались автоответы серверов. Т.е. в общей статистике - количестве писем - они есть, потому что я их не вычитал, но, если они распознавались как спам, то удалялись, соответственно. Хотя, строго говоря, спамом они не являются.
По разметке сомнительных - ну, сложно результаты Мэйла описывать. 52 письма - это то количество, которое осталось, после того как все нормальные письма я оттуда вытащил руками в отдельную папку. Я же писал, почему это происходило.
Антигона - так я и не спорю. Но смысл заключался в том, чтобы сравнить работу защиты на одинаковом потоке. В принципе, работа Мэйла была довольно похожа на работу Спамтеста, плюс антивирус.

И последнее - все же это был немного "для себя" тест. Основными критериями были:
1. Максимально сократить объем спама.
2. Избавиться от вирусов.
3. Не потерять нужные письма.
Спамооборона сделала первое, второе и на 99% третье. Один процент может сыграть, а может и не сыграть. Мне, например, не пришло письмо с подтверждением регистрации в одном из каталогов. Некритично.

Ложные срабатывания

Гость — Sat, 14 Feb 2004 10:38:40 +0300

Прошу прощения, из-за мелкого шрифта, похоже, обсчитался. действительно, должно быть не 833, а 899 "хороших" писем с Mail.ru.
Тогда действительно возникает зазор примерно в 30 писем у Спамообороны. Возможно, дело тут в том, что Грей не дал данных по разметке сомнительных писем - из текста неясно, куда они попадают в его статистике - в спам или в хорошие.
Короче говоря, нужна подробная таблица из десятка колонок, чтобы продолжать дискуссию.

Ложные срабатывания

Ашманов — Sat, 14 Feb 2004 09:54:39 +0300

Не вижу тут никаких противоречий. Это теория множеств Вас путает.

Вот, например: вы посчитали, что 833 письма хороших по данным Mail.ru. Из этого, заметим, не следует, что у Петренко (Грея) хороших писем было всего столько. Наверняка больше. Далее читаем статью: "... «Спамооборона» пропустила без замечаний 933 письма. Из них оказалось спамом — 134 письма."
Значит, Спамооборона пропустила 799 хороших писем (933-134).
А сколько-то - приняла за спам и они в эти 799 не вошли. Если бы хороших во входном потоке всего было 833 и ни письмом больше, то количество ЛС у Спамообороны оказалось бы - 34 (=833-799). На самом деле хороших писем было больше, почему Грей и насчитал у Спамообороны 68 ложных срабатываний. Не вижу никаких противоречий.

Читаем дальше: "Спамтест пропустил без замечаний 986 писем, из которых спамом оказалось — 119 писем.".
Ну, тут хороших писем по данным Спамтеста - 847. Ну и в чём проблема? Противоречий пока не видно и никаких насчитанных Вами сотен ЛС - тоже.

На самом деле, приведённых Греем цифр для полной картины недостаточно. Здесь мы имеем два исходных множества - истинно хорошие письма и истинно плохие (по версии хозяина ящика Грея), и восемь множеств разметки - хорошие/плохие по версии Спамобороны, хорошие/плохие/сомнительные по версии Спамтеста и хорошие/плохие/сомнительные по версии Mail.ru. Все они пересекаются друг с другом довольно причудливым образом. Чтобы точно уяснить картину, нужна довольно подробная табличка или двумерная картинка.

Жаль, что Грей её не сделал. Но просмотреть глазами три потока по тысяче-полторы писем и учесть разметку фильтров - и так довольно большой труд.

Мы сами делаем подобные расчёты постоянно и более подробно - но, увы, мы не независимая сторона.

Re:

Горнал — Fri, 13 Feb 2004 23:13:35 +0300

Тут кто-то что-то не понимает. (Возможно, это я, но разубедите).
Через Mail.Ru прошло 1023 письма, из них спамерских 124. Значит 899 писем Петренко признал не спамом, а желательной корреспонденцией и желательность этой корреспонденции не зависит от применяемых фильтров. Где оказались эти 899 _полезных_ писем после Спамобороны? Насколько я понимаю приведенные цифры, как минимум 100 из них должны были попасть в /dev/null ибо больше просто некуда. Причем это нижняя оценка числа ложных срабатываний, т. к. Mail.Ru тоже наверное что-то удалило зря.

А цифра 3 - это ложные срабатывания отметки "Probable Spam", их действительно немного.

Ложные срабатывания

Ашманов — Fri, 13 Feb 2004 17:57:09 +0300

Вы не так что-то считаете. Нет смысла складывать/вычитать данные от разных фильтров - там пересечение множеств может быть довольно кучерявым.

Петренко же сам всё посчитал и прямо пишет, что Спамтест дал всего 3 ложных срабатывания (из них два - на спамерском рассыльщике Advanced Mail Sender, который маскируется под Outlook, а одно - из-за подозрительного оформления заголовка), а Спамооборона - 68, причём многие из этих писем - тоже сомнительные, "технический шум".

Таким образом, проценты ЛС такие - примерно 0,2% у Спамтеста, и 3% у Спамообороны.

Соотношение понятное - базы Спамтеста поддерживает круглосуточная лингвистическая лаборатория, то есть живые люди, а Спамооборона - чисто автоматический сервис.

Нужно ещё заметить, что фильтрация на пересылке откуда-то всегда работает хуже, чем на самом ящике (например, анализ IP может при пересылке страдать). Поэтому, скажем, Спамооборона в почте Яндекса может работать лучше, чем на пересылаемом потоке.

Re:

Горнал — Fri, 13 Feb 2004 14:16:48 +0300

>Из них «Спамооборона» пропустила без
>замечаний 933 письма. Из них оказалось
>спамом — 134 письма.

Пропущенных нормальных писем 799.

>«Спамтест» пропустил без замечаний 986
>писем, из которых спамом оказалось — 119
>писем.

Пропущенных нормальных писем 867.

>С Mail.Ru получилось все не очень здорово. >До ящика дошло 1023 письма. Из них спамом >оказалось 124.

Пропущенных нормальных 899.

Т. е. Спамоборона убила не меньше 100 (12% корреспонденции), а Спамтест не меньше 32 (4%)полезных писем? И это "рабочее решение"??

спамфильтры

Антигона — Fri, 13 Feb 2004 11:48:11 +0300

Так Mail.ru и не предлагает себя в качестве "фильтра от спама", он позиционируетсыя как полноценная почтовая служба, под это и заточен. А отключить одну опцию - не сложно, только вот нужно ли.

Re:

Юрий — Fri, 13 Feb 2004 06:50:15 +0300

Да, действительно, когда все письма конторы стал прогонять через Спамоборону - некоторые нормальные письма не пролазили - поэтому перевез всё на спамтест - и доволен жизнью...

Тестирование различных методов блокировки спама

admin — Thu, 12 Feb 2004 14:33:55 +0300

Сергей Петренко, главный редактор проекта SearchEngines.Ru, тестирует различные методы блокировки спама. Для этого он зарегистрировал аккаунты в Спамообороне «Яндекса», «Спамтесте» и на Mail.Ru.