Исследователи взломали ИИ-агента через PNG-файл, заставив его выдать пароли
Новая атака prompt injection скрыла вредоносную инструкцию внутри изображения, обойдя базовые защиты и вызвав утечку конфиденциальных данных, что вскрыло фундаментальные уязвимости мультимодальных агентов.
Исследователи безопасности взломали ИИ-агента, заставив его раскрыть конфиденциальные данные. Атака использовала PNG-файл со скрытой вредоносной инструкцией - технику prompt injection. Это демонстрирует уязвимость автономных агентов, обрабатывающих разные типы данных, к скрытым манипуляциям.
Prompt injection остается частым способом взлома. Классический метод - прятать инструкцию в тексте, рассчитывая, что ИИ выполнит ее, а человек не проверит. Современные системы защиты научились распознавать такие текстовые атаки. Поэтому злоумышленники ищут новые пути. В данном случае использовали мультимодальность агента, способного анализировать изображения. Инструкцию внедрили в пиксели файла, обманув агента.
Эта атака показывает фундаментальную проблему в архитектуре агентов на базе больших языковых моделей. Агент, запрограммированный на последовательные действия, не может надежно отделить доверенные инструкции разработчика от опасных команд в обрабатываемых данных. Когда модель описывает изображение, внедренная команда может стать частью рабочего процесса. Это расширяет поверхность атак: любой файл - изображение, документ, аудио - может нести вредоносный промпт.
Для бизнеса, внедряющего автономных агентов в работу с документами или поддержку клиентов, это означает пересмотр подходов к безопасности. Традиционные методы, такие как поиск сигнатур кода или анализ сетевых аномалий, бессильны против атак на семантическом уровне внутри логики модели. Необходимы специализированные механизмы: строгое разделение системных инструкций и пользовательских данных, многоуровневая проверка команд агента, мониторинг аномального поведения. Без этого развертывание агентов с доступом к конфиденциальным данным несет высокие риски.
Инцидент подтверждает, что безопасность ИИ-агентов - отдельная развивающаяся дисциплина. Потребуются новые стандарты, инструменты аудита и, возможно, законы об ответственности. Для исследователей и хакеров это новое поле для поиска уязвимостей, для бизнеса - новые расходы. Пока не найдены надежные решения, угроза prompt injection будет сдерживать внедрение продвинутых агентов в чувствительных областях, таких как финансы или обработка персональных данных. Текущий подход к безопасности часто реактивен - новые уязвимости обнаруживаются уже после их эксплуатации, что создает постоянное отставание защитных мер.
