Контентная фильтрация против спамеров: боевая ничья

Гранты Юнеско - это все-таки нечто фантастическое. Мммм, эээ, коллеги, вы знаете, мы всесторонне исследовали предмет, и надо отметить, что вода мокрая!

А вот сравнил бы кто-нибудь по эффективности эти российские произведения с традиционным бесплатным SpamAssassin - было бы действительно интересно. А то я хоть убей не понимаю, на какую конкретно цифру платные решения работают лучше.

Что это за корпоративный фильтр, который "обучался семь месяцев"?
Спамтест - не обучается пользователем.
Корпоративной Спамообороны 7 месяцев назад - не было.

Почитал я отчёт в формате pdf. Очень научный.
Эээ, уважаемые коллеги, позвольте мне, так сказать, несколько небольших, если так можно выразиться, замечаний, кхе, кхе.

1. В отчёте написано "данные разработчиков не содержат и не могут содержать сведений о ложных срабатываниях". Совершенно непонятно, откуда это взялось.
Конечно, сведения разработчиков содержат эти данные. Читайте описания продуктов, наши отчёты и прочее.
Мы же постоянно тестируем качество и получаем обратную связь - жалобы на пробивщийся спам - от миллионов пользователей. Только от пользователей Mail.ru в день идёт до 100,000 жалоб.
Сколько ложных срабатываний - тоже известно, и мы также даём эти данные.

2. "Условия использования этих фильтров в рамках сервисов Спамооборона и Спамтест позволили исследователям поставить их в равные условия и корректно сравнить результаты их работы".

Вообще пересылка на сервис писем с какого-то ящика уже понижает качество фильтрации и смазывает картину. Это подробно обсуждается в нашей методике тестирования на сайте Спамтест - ибо при пересылке часто теряются некоторые данные в технических заголовках письма о настоящем отправителе.
Правильное тестирование КОРПОРАТИВНЫХ фильтров - это именно использование их в том режиме, в каком они работают в корпорациях: принятие почты СРАЗУ на адрес в Спамообороне или Спамтесте, а не пересылка писем после получения.

Таким образом, в равные условия поставили, результаты сравнили - но это результаты бесплатных сетевых сервисов. Про корпоративные фильтры говорить некорректно.

3. Приводятся данные по обнаружению вирусов. Это ВООБЩЕ НЕ ОТНОСИТСЯ к качеству фильтров. Спамтест использует Антивирус Касперского, Спамооборона - Др.Веб, но качество их никак не связано с качеством фильтров.

Поэтому, скажем, "вешать" на фильтр ложные срабатывания антивируса - некорректно.
Кроме того, я подозреваю, что это не были ложные срабатывания, а просто как бы служебные сообщения могли быть поддельные и вирус был от них отрезан антивирусом.

4. Многочисленные received вряд ли могли служить причиной отсева сообщений фильтрами.

5. Ну и итог довольно странный: слишком высокий уровень ложных тревог. Полпроцента - нелепая цифра. При таком уровне фильтр никто не сможет использовать в работе компании - а их ииспользуют. Представьте себе относительно небольшой поток в 10,000 писем в день - что, 50 писем в день будет пропадать? И клиент с этим смирится?
На самом деле наши клиенты, как правило, довольно долго (неделю-две) внимательно читают папку "Спам", а потом бросают это утомительное занятие - потому что хороших писем там не оказывается. Сами мы, конечно, не читаем папку "Спам" - по той же причине, а не потому что готовы терять деловые письма.

Процент детекции в 93% похож на правду, хотя и ниже, чем в реальности. Это, скорее всего, от переадресации, теряющей ключевые данные в заголовках.

Не, не понимаю я эту манеру давать какие-то усредненные цифры по нескольким продуктам.

Как эта цифра - 92-93% фильтрации спама - соотносится с реальной жизнью? Один фильтр "ловит" 95% спама, а другой - 90% ? Или оба по 92-93%?

Да ладно бы это, а вот ложные срабатывания "в среднем по больнице" - это вообще здорово. Может, все ложные срабатывания вообще дал один и тот же фильтр, а другой никогда не ошибается...

Ну и "обучаемый корпоративный фильтр" действительно звучит интригующе. С формальной точки зрения, вроде как, корпоративный - это Спамтест, но обучаемый - это Спамоборона.

2 Ашманов:

> Что это за корпоративный фильтр, который "обучался семь месяцев"?
> Спамтест - не обучается пользователем.
> Корпоративной Спамообороны 7 месяцев назад - не было.

Открою маленький секрет: есть на свете и ДРУГИЕ спам-фильтры. У нас используется один из них, какой конкретно не скажу, чтобы дискуссия не вылилась в обсуждение его достоинств и недостатков. Скажу только что весьма популярный.

> В отчёте написано "данные разработчиков не содержат и не могут содержать сведений о ложных срабатываниях". Совершенно непонятно, откуда это взялось.
> Конечно, сведения разработчиков содержат эти данные. Читайте описания продуктов, наши отчёты и прочее.

Откуда бы им там взяться?! Что, каждый купивший "Спамтест" присылает Вам сообщения о ложных срабатываниях?!

> Только от пользователей Mail.ru в день идёт до 100,000 жалоб.

Раньше Вы говорили, что на Mail.ru используется своя версия "Спамтеста", с какими-то особенностями и доработками. Это важное замечание к предварительной версии отчета было учтено в финальной версии, где тестировался непосредственно "Спамтест". Вы уж определитесь, а то данные по фильтру именно Mail.ru вообще чудовищные.

> Вообще пересылка на сервис писем с какого-то ящика уже понижает качество фильтрации и смазывает картину. Это подробно обсуждается в нашей методике тестирования на сайте Спамтест - ибо при пересылке часто теряются некоторые данные в технических заголовках письма о настоящем отправителе.

Мы проверяли это замечание, заголовки не теряются, "Спамтест" и "Спамооборона" только добавляют свои заголовки.

> Поэтому, скажем, "вешать" на фильтр ложные срабатывания антивируса - некорректно.

Разница на уровне статистической погрешности. С другой стороны, надо же как-то объяснить полученные цифры. Если про них просто забыть, то цифры просто не сойдутся.

> Ну и итог довольно странный: слишком высокий уровень ложных тревог. Полпроцента - нелепая цифра. При таком уровне фильтр никто не сможет использовать в работе компании - а их ииспользуют. Представьте себе относительно небольшой поток в 10,000 писем в день - что, 50 писем в день будет пропадать? И клиент с этим смирится?

За других говорить не берусь, но по нашим письмам, заметьте, не некоему эталонному массиву, а реальному потоку, картина такая.

2 anna

> Как эта цифра - 92-93% фильтрации спама - соотносится с реальной жизнью? Один фильтр "ловит" 95% спама, а другой - 90% ? Или оба по 92-93%?

Если почитать отчет то можно это легко подсчитать самостоятельно. Насколько я помню, разница между эффективностью фильтров ~ 1%

> Может, все ложные срабатывания вообще дал один и тот же фильтр, а другой никогда не ошибается...

Ответ на этот вопрос четко дан в отчете, он небольшой, всего несколько страниц, сама суть изложена вообще на 1 странице, ее не так долго прочесть.

2 Альтовский

> Ответ на этот вопрос четко дан в отчете, он небольшой, всего несколько страниц, сама суть изложена вообще на 1 странице, ее не так долго прочесть

Да, спасибо, уже нашла саму суть: "Авторы не рекомендуют использовать данные отчета для экстраполяции на весь объем электронной почты, получаемый в России или в мире", т.е. это оценка ситуации и рекомендации для одного отдельно взятого домена ifap.ru

1. "Открою маленький секрет: есть на свете и ДРУГИЕ спам-фильтры."

Да, только в заголовке и основном тексте статьи -написано про Спамтест и Спамооборону, а месяцами теряет письма оказывается, совершенно ДРУГОЙ "довольно популярный фильтр", который вы там как-то обучаете.

"По словам Альтовского, «При тщательной настройке спам-фильтры могут частично решить проблему спама, однако используемый нами корпоративный фильтр, который „обучался“ в течение 7 месяцев, иногда помечает легитимные письма как возможный спам, а спам — как легитимные письма".

Вы вводите в заблуждение читателя.

2. "Мы проверяли это замечание, заголовки не теряются, "Спамтест" и "Спамооборона" только добавляют свои заголовки."
А исходный, оригинальный IP сервера-отправителя - сохраняется?

Господин Альтовский, ну не молчите же!

2 Ашманов

> Вы вводите в заблуждение читателя.

Мы (видимо ошибочно) полагали, что читатель сможет осилить текст, написанный достаточно простым русским языком.

> А исходный, оригинальный IP сервера-отправителя - сохраняется?

По false negative была выборочная проверка (примерно 50%), по false positive - 100% Во всех случаях оригинальные заголовки письма сохранялись нетронутыми. Спам-фильтры только добавляли свои служебные заголовки + появлялся дополнительный заголовок Received от почтовых серверов spamtest.ru и yandex.ru

"Откуда бы им там взяться?! Что, каждый купивший "Спамтест" присылает Вам сообщения о ложных срабатываниях?!"

Евгний, к чему столько восклицательных знаков!!?
Вы же не латиноамериканец?

Вы не поверите, конечно, но клиенты Спамтеста в самом деле присылают жалобы на ложные срабатывания и на пропуски. И клиенты Антивируса Каспрского, и Доктор Веба и Микрософт Офиса присылают жалобы на некорректную работу программ.

Они же деньги заплатили, так что если есть претензии к качеству, они их присылают.
Вы попробуйте что-нибудь сделать для людей, какой-нибудь продукт, дать адрес для техподдержки и тогда Вас это будет поражать меньше.
Но, естествнно частоту ложных срабатываний можно аккуратно померить в тестах, что мы и делаем регулярно.

Но речь шла не об этом. Вы написали, 1) что разработчики не дают данных о ложных срабатываниях, якобы потому что 2) у них их и не может быть.
А я уже второй раз вам говорю - тут теорий не нужно, Вы делаете неверные утврждения о фактах НАЛИЧИЯ данных в описаниях продуктов.
Вы просто не удосужились почитать описания продуктов и технологий. А потом наскоро придумали теорию, по которой вам и не требовалось их читать, потому что данных не может быть никогда.

Нравятся вам эти данные или нет, верите вы им или нет, это факта их наличия не отменяет.

Игорь, я нисколько не сомневаюсь в наличии feedback'а от покупателей "Спамтеста" и другого ПО, но сомневаюсь в его реперзентативности. Вы же не можете утверждать, что получаете сведения о ВСЕХ false negative/positive, а без этого полученые данные нельзя считать репрезентативными.

К тому же, если клиенты присылают такие данные, значит они все-таки проводят ручной разбор своей почты, заглядывают в папку "спам", что лишь подтверждает вывод в отчете - необходимость ручного разбора почты сохраняется.

> Но, естествнно частоту ложных срабатываний можно аккуратно померить в тестах, что мы и делаем регулярно.

И это будут данные для Вашего массива почты, которые не совпадут с нашим. Если бы совпали, то нам бы сейчас и говорить было не о чем.

Поэтому остаюсь при своем: данные разработчика не могут содержать сведений о false positive/negative, но дабавлю к этому политкорректную оговорку: "иные, чем относящиеся к некоему частному случаю".

> Вы же не латиноамериканец?

А что, быть латиноамериканцем - плохо?! ;)

"Вы же не можете утверждать, что получаете сведения о ВСЕХ false negative/positive, а без этого полученые данные нельзя считать репрезентативными."

А как тогда, интересно, проводятся и обсчитываются опросы населения всякими ВЦИОМами и ФОМами? По Вашей логике, только опрос всех жиетелей страны или планеты - репрезентативен.

И какова тогда цена вашему отчёту?

"К тому же, если клиенты присылают такие данные, значит они все-таки проводят ручной разбор своей почты, заглядывают в папку "спам", что лишь подтверждает вывод в отчете - необходимость ручного разбора почты сохраняется."

Нет, неверно. Как я уже писал, обычно клиенты НЕ просматривают всю почту, иначе фильтрация была бы не нужна. Они просматривают её первое время после покупки фильтра.
Как я уже говорил, например, у нас в компании никто не читает папку "Спам", как бы он ни дорожил деловой почтой.

Бывают ещё изредка случаи сбоев, когда большой процент почты именно этого клиента вдруг начинает падать в отвал. Мы сталкивались с этим раза два-три за последние годы. Тут, конечно, хочешь - не хочешь, а заметишь ложные тревоги.
Например, однажды в 2003 г. лингвисты для скорости детекции писем одного клиента спамеров занесли в базу его номер телефона как спам-термин, а через полгода он купил наш фильтр и все его письма со стандартной подписью стали попадать в отвал (сейчас уже все такие термины короткоживущие, на несколько дней).

Поэтому безусловно правильно не уничтожать спам сразу, а складировать его в отдельную папку, а удалять через неделю или через месяц.

Но никто в здравом уме не будет читать сотни или тысячи спамовых писем, купив нормальный фильтр.

И народ не читает.

2 Ашманов

ВЦИОМы и ФОМы формируют пулы опрашиваемых сами, а разработчикам ПО приходят "сигналы" по инициативе снизу.

Допустим в порядке бреда, ФОМ хочет вычислить тот же false positive у "Спамтеста". Для этого он берет список покупателей, опрашивает 70% коммерческих компаний, 30% госорганов и 20% общественных организаций. В каждой из них он опрашивает 20% секретарш, 50% менеджеров и 30% сисадминов. Допустим, ФОМ выбрал правильную стратегию и получил искомые данные, которые можно затем с допустимой погрешностью экстраполировать на все установки "Спамтеста".

На самом же деле происходит другое: сигналы приходят в основном от сисадминов коммерческих структур, менеджерам госорганов глубоко наплевать сколько нужных писем летит в спам, а секретарши НКО вообще не знают что их организация пользуется спам-фильтром.

> Как я уже писал, обычно клиенты НЕ просматривают всю почту, иначе фильтрация была бы не нужна. Они просматривают её первое время после покупки фильтра.

Я с этим не спорю, т.к. вполне допускаю, но считаю, что совершенно напрасно они так поступают.

Вы мне рассказываете о ситуации, которую я принимаю на веру. В ответ я говорю, что считаю эту ситуацию результатом заблуждения и привожу в качестве довода факт - нужная мне, лично мне почта помечается иногда как спам.

О чем мы спорим? О том, что не помечается? Вроде Вы согласны, что случается такое. О том, что мне следует наплевать на несколько писем в месяц? Тут и спорить не о чем, это только я могу решить, а я решаю, что нет, не могу. О том, что всем остальным следует наплевать? Пусть каждый решает для себя сам.

Еще раз кратко суть исследования: контентная фильтрация может привести к потере нужной почты. Если с этим никто не спорит, то как к этому относиться каждый уже решает сам.

Альтовский, прекращайте клоунады...