Локальная BERT-модель как третий уровень защиты от спама: практический опыт

Чтобы отсеять сложный спам, например партнерские предложения и рекламные рассылки, разработчик добавил в почтовую инфраструктуру локальную BERT-модель как третий, финальный фильтр. Его цель — ловить письма, формально не являющиеся чистым спамом, но бесполезные для пользователя: приглашения на конференции, коммерческие предложения, реклама кредитов. Такие сообщения часто проскальзывают через байесовские фильтры и системы крупных почтовых сервисов.

Фильтрация трехэтапная. Первый барьер — встроенные фильтры почтовых сервисов Яндекса и Mail. Второй уровень — классический SpamAssassin на собственном сервере. Но даже после этого «серые» партнерские рассылки доходили до ящика, вынуждая тратить время на ручную очистку. Проблему решил локальный запуск модели машинного обучения.

Выбрана предобученная модель rubert-base-antispam с HuggingFace. Это файн-тюн модели DeepPavlov/rubert-base-cased-conversational. Архитектура включает 177 миллионов параметров, 12 слоев трансформера и размерность скрытого состояния 768. Модель — бинарный классификатор. Она принимает текст до 512 токенов и выдает 0 или 1, определяя спам. Это делает систему простой и предсказуемой. Модель занимает около 550 МБ оперативной памяти, а инференс занимает 100-200 миллисекунд, что приемлемо для почтового пайплайна.

Внедрение модели как третьего уровня закрыло брешь в защите. Письмо, прошедшее фильтры почтовых провайдеров и SpamAssassin, дополнительно анализируется локальной BERT-моделью перед попаданием в почтовый ящик. Это сократило ложные срабатывания и уменьшило поток нежелательных рассылок во входящие.

Для отрасли этот кейс показывает применение компактных трансформерных моделей в задачах, где важны скорость, приватность и низкие расходы. Локальный запуск исключает зависимость от облачных API, гарантирует конфиденциальность данных и позволяет тонкую настройку. Гибридный подход — облачные сервисы первого уровня и локальный ИИ для финальной доработки — может стать трендом для инфраструктур, где важен контроль.

Развитие экосистемы предобученных моделей делает технологии машинного обучения доступными не только для крупных компаний, но и для отдельных разработчиков. Это позволяет решать узкие задачи автоматизации без огромных вычислительных ресурсов или команд data science. Приведенные цифры — 177 миллионов параметров, 12 слоев, 768 размерность, 512 токенов, 550 МБ памяти и 100-200 мс на инференс — демонстрируют, что современные модели могут быть достаточно легковесными для работы на обычном сервере. Ключевой вывод: даже одна правильно подобранная и интегрированная модель может существенно повысить качество фильтрации, дополняя, а не заменяя традиционные методы.