Пять раундов дообучения на реальном трафике: почему рост точности детектора промпт-инъекций не гарантирует защиты
Эксперимент компании Agima показал, что классические метрики вроде общей точности могут вводить в заблуждение при дообучении моделей безопасности. Из пяти попыток улучшить детектор промпт-инъекций лишь одна прошла строгие проверки и была выпущена в продакшен.
Специалисты компании Agima провели эксперимент по дообучению модели для детекции промпт-инъекций на реальном корпоративном трафике. Из пяти раундов релиз в продакшен прошел только один. В четырех случаях рост общей точности сопровождался критическим падением способности обнаруживать реальные атаки, что заставило команду пересмотреть подход к оценке качества.
Работа с реальными данными оказалась сложной. Исходный корпус для обучения содержал 38856 запросов к корпоративным LLM-ассистентам, из которых 9071 был размечен как опасный. Ключевой метрикой стала не общая точность, а F1-метрика для класса атак. В ходе дообучения модель демонстрировала рост общей точности до 90%, в то время как F1 для атак падала до 71% или даже до 0%. Это означало, что модель переставала видеть реальные угрозы, что неприемлемо для системы безопасности.
Промпт-инъекции сложно детектировать из-за разнообразия формулировок. Agima дообучала предварительно обученную модель, добавляя новые примеры атак из рабочего трафика. Однако простое добавление данных без контроля за балансом классов привело к регрессии. Четыре из пяти попыток пришлось откатить, несмотря на улучшение общих показателей.
Этот эксперимент демонстрирует важный урок для индустрии безопасности ИИ. При дообучении моделей нельзя полагаться на усредненные метрики. Agima внедрила строгие проверочные гейты: релиз блокируется, если ухудшаются ключевые показатели для целевого класса. Перед выпуском модель должна показывать стабильность или рост F1-метрики для класса атак и проходить тесты на специальном наборе сложных примеров. Было установлено, что модель должна стабильно показывать результат на критически важных примерах, чтобы быть допущенной к развертыванию.
Для компаний, внедряющих LLM, это означает, что системы защиты требуют осторожного и инженерно-ориентированного подхода к обновлению. Наивное дообучение может ослабить защиту. Необходимо фокусироваться на метриках, непосредственно связанных с обнаружением угроз, поддерживать репрезентативные тестовые наборы и автоматизировать проверку на регрессию. Тренд смещается к подходу, где надежность и предсказуемость модели на критически важных задачах ставятся выше абстрактных усредненных показателей. Только такой метод позволяет выпускать в продакшен эффективные и безопасные обновления, избегая ситуаций, когда модель формально точна, но практически бесполезна для своей основной задачи - обнаружения атак.
