Самое горячее: Европа признала соцсети опасными (50); "Фобос-Грунт" уже не спасти (11); Мобильники убивают детей (26); ЕЩЕ >>
РАЗДЕЛЫ
Архив
« июнь 2020  
пн вт ср чт пт сб вс
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30          

Тестирование различных методов блокировки спама

| архивная статья | 12.02.2004 15:33

Давайте немного отвлечемся и поговорим о спаме. Точнее, о результатах моего небольшого тестирования различных методов его блокировки.

Оговорюсь сразу: целью фильтрации для меня является блокировка нежелательной корреспонденции, то есть, такой, которая содержит спам или вирусы. При этом фильтрация должна происходить на уровне сервера. Я прекрасно осведомлен о возможностях локальных решений — встроенных или подключаемых фильтров в почтовых программах, различных программах наподобие SpamPal, — но эти возможности меня перестали устраивать после последних эпидемий почтовых вирусов. Попросту говоря, эти эпидемии показали, что проблема, создаваемая спамом заключается не только в замусоренности почтовых ящиков ненужными сообщениями, но и в увеличении расходов на оплату доступа в интернет — как при повременной оплате, так и при оплате за трафик.

Вторая особенность фильтрации: необходимость сохранить имеющийся рабочий адрес, который хорошо известен корреспондентам.

Еще одно ограничение: из-за особенностей сервера установка серверного пакета (навроде Kaspersky Antispam) оказалась невозможной.

Поэтому общая схема фильтрации проста: почта с существующего адреса перенаправляется на службу фильтрации спама, откуда поступает на «секретный», то есть, нигде не используемый, почтовый адрес на моем же сервере. Адрес специально сгенерирован случайным образом, с большим количеством случайных символов в нем, чтобы исключить возможность подбора его спамерами.

Технология проведения теста проста и заключалась в фильтрации одного и того же потока почты через различные службы фильтрации спама. Для этого были зарегистрированы аккаунты в Спамообороне «Яндекса», «Спамтесте» и на Mail.Ru. Подбор служб производился из следующих соображений: по сути, сейчас имеется два серьезных разработчика антиспамерских технологий в Рунете, это «Яндекс» и компания Игоря Ашманова, соответственно «Спамооборона» и «Спамтест». При этом на Mail.Ru, хоть и применяется технология «Спамтеста», но одновременно там применяются собственные механизмы блокировки писем — например, Mail.Ru ведет собственные черные списки серверов, замеченных в рассылке спама, кроме того, там стоит антивирусная защита ящиков от Dr.Web.

После этого существующий почтовый ящик был перенастроен таким образом, чтобы все письма, приходящие на него, автоматически форвардились на созданные аккаунты в антиспам-системах, и, кроме того, складывались собственно в ящик. Таким образом, ни одно письмо не было потеряно, и благодаря этому можно адекватно судить о качестве фильтрации.

Настройки антиспам-служб были следующие:
- «Спамоборона» удаляла все письма, сочтенные спамом или содержащие вирусы;
- «Спамтест» принципиально, по словам Игоря Ашманова, не берет на себя ответственности за корреспонденцию пользователей и ограничивается лишь ее разметкой. Поэтому в почтовом клиенте TheBat! была включена опция selective download, которая позволяет удалять письма сразу на сервере. Удалялись письма, однозначно сочтенные спамом, то есть, такие, которые были размечены как [!! SPAM];
- Mail.Ru сам по себе спам и письма с вирусами не принимает, а возможный спам складывает в папку «Сомнительные».

Всего было обработано 1845 писем. Из них «Спамооборона» пропустила без замечаний 933 письма. Из них оказалось спамом — 134 письма. «Спамтест» пропустил без замечаний 986 писем, из которых спамом оказалось — 119 писем. При этом «Спамтест» еще 72 письма пометил как Probable Spam, 69 из которых оказалось действительно спамом, в большинстве своем с «MyDoom» внутри.

Самый острый момент в фильтрации — это ложные срабатывания, когда нормальное письмо принимается за спам. «Спамтест» «отличился» трижды, пометив письма как Probable Spam. Все три раза проблема была очевидна — речь шла о рассылках, которые либо содержали не очень общепринятые символы в заголовках (знак "@" в теме), либо делались некрасивой программой Advanced Mail Sender, которая считается спамерской.

«Спамооборона» оказалась более жесткой. Собственно, из приведенных данных видно, что 68 писем ложно посчитали спамом. Однако, тут стоит сказать пару слов в защиту «Яндекса». Все 68 писем — это письма с массовых сервисов, как-то уведомления о регистрации в каталоге, например, или служебные сообщения — отлупы от серверов.

С Mail.Ru получилось все не очень здорово. До ящика дошло 1023 письма. Из них спамом оказалось 124. С «Сомнительными» вышла накладка. Оказывается, на Mail.Ru стоит, кроме прочего, детектор массовости рассылок. Так вот, этот детектор срабатывает, если начинать автоматически форвардить туда почту, даже на моем не очень большом трафике. В итоге в папку «Сомнительные» — а это аналог Probable Spam для «Спамтеста» — начали падать очень даже нормальные письма. Так продолжалось пару дней, пока я не связался с руководителем лингвистической лаборатории компании «Ашманов и Партнеры» Кириллом Зорким и он не внес мой сервер в белый список. Но это автоматически исключает вариант фильтрации почты через Mail.Ru из общедоступного набора — не будут же все подряд вноситься в «белый список» серверов, с которых Mail.Ru принимает даже массовые рассылки. Таким образом, после вычищения хороших писем из папки «Сомнительные» возможным спамом Mail.Ru счел 52 письма. О ложных срабатываниях говорить сложно.

Во избежание возможных нестыковок добавлю, что из статистики ложности срабатывания исключены автоответы серверов.

Итоги таковы. В качестве рабочего варианта фильтрации почты останется, скорее всего, «Спамтест» — склонность «Спамообороны» убивать служебные сообщения серверов может сыграть дурную шутку. Вообще, «Яндексу» стоило бы ввести дополнительную категорию почты по примеру «Спамтеста», куда относить сомнительные случаи — это бы помогло избежать ложных срабатываний.

«Спамтесту» однозначно нужна антивирусная защита. Вирусы и так очень неплохо ловятся по сигнатурам спама, но негоже считать «MyDoom» возможным спамом и пропускать его к пользователю. Впрочем, Кирилл Зоркий сообщил, что планируется добавить антивирус Касперского.

Mail.Ru, как стало ясно, для фильтрации спама на рабочем ящике не подходит абсолютно. При том, что средний трафик оказался относительно небольшим, фильтр стал работать непредсказуемо. Но если ящик на Mail.Ru сам по себе является адресатом, то защита работает вполне удовлетворительно.

разделы:

Другие

Последние комментарии
об издании | тур по сайту | подписки и RSS | вопросы и ответы | размещение рекламы | наши контакты | алфавитный указатель

Copyright © 2001-2020 «Вебпланета». При перепечатке ссылка на «Вебпланету» обязательна.

хостинг от .masterhost