Борьба со спамом на uCoz (up. 09-2014)

Mr-Hell

Дата: Четверг, 14.08.2014, 20:04 | Сообщение # 1

Журналист

Сообщений: 9481

. Это обновление посвящено борьбе с широко распространенным явлением, которое представляет проблему или приносит значительные неудобства многим пользователям uCoz. Как вы уже догадались — в обновление вошли новые инструменты для борьбы со спамом, а также для предотвращения появления новых спам-сообщений. Некоторое внимание также уделено вопросу эффективности борьбы со спамом в целом.

К сожалению, как правило любые защитные меры имеют только временный эффект, и спамеры быстро подстраиваются под новые условия, используют различные обходные маневры и новые тактики. Все это похоже на самую настоящую войну, войну информационную, в ходе которой одной стороне (владельцам сайтов, емейлов) приходится держать оборону, а другой стороне (спамерам) — искать лазейки и предпринимать попытки атаковать незащищенные ресурсы.

Такой популярный веб-сервис как uCoz, конечно-же, не мог не привлечь внимания спамеров, и мы тоже принимаем активное участие в этой войне, полем боя в которой стали сайты, созданные в нашей системе.

Говорить о грядущем полном разгроме врага сейчас, безусловно, преждевременно, но хотелось бы рассказать о отдельных эпизодах, которые приближают нашу общую победу.

Фильтр для спам-комментариев и сообщений в гостевые книги

Работу этой системы, запущенной относительно недавно, некоторые уже успели заметить, хотя для подавляющего большинства пользователей она осталась в тени. Речь идет о системе автоматизированной проверки комментариев и сообщений, размещенных в гостевых книгах. Прежде чем рассказывать подробности о ее работе, хотелось бы обратить внимание на статистику за последнюю неделю.

Как можно увидеть — спама в комментариях и гостевых книгах просто огромное количество. Если бы мы отказались от использования системы фильтрации, то уже через месяц на серверах uCoz хранилось бы до 25 миллионов никому не нужных сообщений, а всего через год это число приблизилось бы к 300 миллионам.

Система фильтрации спама работает по довольно простому принципу. Каждое опубликованное сообщение пропускается через большое количество простых правил — и те сообщения, которые не соответствуют ни одному из них признаются нормальными и не блокируются. Срабатывание того или иного правила зависит от наличия в проверяемом сообщении тех или иных признаков — например, слов из списка запрещенных, или определенных ссылок.

Правила постоянно добавляются и совершенствуются, обучаясь на примерах добавленных спам-сообщений. Такая система позволяет достаточно эффективно, а главное — быстро проверять значительные объемы сообщений. Безусловно не бывает идеальных систем, и время от времени мы получаем жалобы от пользователей на то, что система удалила сообщения, которые не являлись спамом. Лучшим решением в данной ситуации будет обращение в службу технической поддержки с просьбой о восстановлении удаленных комментариев. Анализ ошибочно удаленных комментариев и записей помогает обучить систему фильтрации и снизить количество подобных ситуаций в будущем.

Описанный выше механизм работы системы фильтрации работает постфактум — комментарии и записи в гостевых книгах проверяются после того, как были опубликованы на сайте. Это снижает эффективность работы системы и приводит к следующему, логичному шагу.
Фильтрация спама "на лету"
Это совершенно новый механизм фильтрации спам-сообщений, уже запущенный в работу. Принцип работы этой системы построен на моментальном ("на лету") анализе размещенного сообщения и принятии решения — является оно спамом, или нет. Система тесно связана с механизмом премодерации сообщений, и поэтому риск потерять по ошибке действительно нормальные комментарии невелик, так как они просто отправляются на премодерацию. Владелец сайта может пометить нормальный комментарий как "не спам", тем самым обучив систему и обезопасив себя от повторения ситуации.
Настраиваем работу системы фильтрации на своем сайте
Для того чтобы владельцы сайтов имели возможность гибкой настройки систем фильтрации, мы предусмотрели четыре новые настройки прав для групп пользователей.

Рассмотрим эти настройки подробнее:

Цитата

Разрешить жаловаться на спам
Эта настройка определяет, каким именно группам будет доступна возможность пометить сообщение как спам

Отключить автоматическую проверку сообщений на спам
Эта настройка явно указывает системе фильтрации, сообщения каких групп пользователей не проверять на наличие в них признаков спама

Автоматически помечать сообщения как "не-спам"
Данная настройка автоматически помечает сообщения от указанных групп пользователей как "не спам".

Разрешить управление спам-статусом сообщений (возможность запрещать жаловаться на определенные сообщения)
Данная настройка активирует возможность управления статусом отдельных сообщений для пользователей из определенных групп (возможность помечать их как спам или не спам, изменение статуса, установленного системой фильтрации).

Борьба была бы неэффективной, если бы мы не думали о предотвращении самой возможности размещения спам-комментариев и записей. Очередным шагом к этому стало введение новой капчи.