Фундаментальная уязвимость: все градиентные атаки на LLM бьют в одну точку
Исследование показало, что разнообразные методы взлома языковых моделей, такие как GCG и AutoDAN, нацелены на единый внутренний вектор отказа, ставя под сомнение реальную устойчивость систем безопасности.
Исследователи обнаружили фундаментальную уязвимость в архитектуре больших языковых моделей (LLM). Разные методы атак, такие как градиентная атака GCG и более сложная AutoDAN, воздействуют на одну внутреннюю слабость модели - "вектор отказа". Это внутреннее представление, которое модель использует для отклонения вредных запросов. Вся работа по обучению моделей отказываться от опасных инструкций может зависеть от этой единственной точки сбоя.
Атака GCG добавляет к запросу специально вычисленную бессмысленную последовательность символов. Это смещает модель в сторону выполнения запрещенной инструкции. Атака AutoDAN, напротив, оборачивает вредный запрос в связный осмысленный текст. Несмотря на разную тактику, результат один: внутренние представления модели уводятся с "направления отказа". Строка, сгенерированная для взлома одной модели, часто работает и для других, даже не участвовавших в оптимизации атаки. Это указывает на системный характер уязвимости, заложенный в архитектуре LLM.
Текущие подходы к безопасности, такие как RLHF и тонкая настройка на отказ, могут создавать лишь иллюзию устойчивости. Модель учится отклонять запросы, но не развивает глубокого понимания их вредоносной сути. Вся ее "безопасность" сконцентрирована в узком канале, который можно относительно легко переопределить. Разработчикам необходимо пересмотреть парадигму защиты. Недостаточно обучать модель говорить "нет" - нужно делать это решение устойчивым к манипуляциям с входными данными.
Для пользователей, компаний и регуляторов это исследование - напоминание о хрупкости современных систем ИИ. Вежливый отказ модели не гарантирует, что ее нельзя обойти автоматизированными методами. Это повышает риски при интеграции LLM в критически важные процессы. Дальнейшие исследования, вероятно, сместятся к поиску более надежных, архитектурно иных методов безопасности, не полагающихся на единую точку отказа. Индустрии придется учитывать наличие этой фундаментальной бреши и относиться к внедрению моделей с соответствующей осторожностью.
