Безопасность ИИ

Исследование выявило три новых класса критических уязвимостей в AI-агентах

Традиционный ред-тиминг оказался слеп к новым типам атак на AI-агентов, таким как Confused Deputy и Agentic DoS, что требует пересмотра подходов к безопасности автономных систем.

Иллюстрация к новости: Исследование выявило три новых класса критических уязвимостей в AI-агентах

Развитие AI-агентов, способных автономно выполнять задачи с помощью инструментов и внешних сервисов, создало новый класс угроз кибербезопасности. Сканер BarkingDog выявил три типа критических уязвимостей, которые остаются невидимыми для стандартных методов тестирования. Эти уязвимости — Confused Deputy (ASI03), Trust Exploitation (ASI08) и Agentic DoS (ASI06) — найдены в популярных open-source проектах. По прогнозам, к 2026 году основной поверхностью атак станут именно AI-агенты, обладающие памятью, инструментами и возможностью взаимодействия с внешним миром.

Уязвимости имеют архитектурную природу. Confused Deputy (ASI03) эксплуатирует ситуацию, когда агент, получив задание, непреднамеренно выполняет вредоносные действия от имени доверенного сервиса или пользователя. Trust Exploitation (ASI08) связана с злоупотреблением доверием: злоумышленник манипулирует агентом, заставляя его выполнять действия вне обычных полномочий, используя уязвимости в логике принятия решений. Agentic DoS (ASI06) — это атака на отказ в обслуживании, специфичная для агентов: через их инструменты истощаются ресурсы целевой системы. Проверка реальных проектов с помощью BarkingDog показала конкретные пейлоады и доказала, что агенты могут выполнять опасные команды, демонстрируя фундаментальные пробои в архитектуре.

Традиционные парадигмы безопасности, сфокусированные на защите статичного кода или сетевых периметров, неэффективны против динамичной и контекстно-зависимой природы AI-агентов. Стандартное тестирование не способно смоделировать сложные многошаговые сценарии взаимодействия агента с инструментами и пользователем, где проявляются новые классы атак. Это создает разрыв между скоростью внедрения агентных технологий и возможностями обеспечения их безопасности. Разработчики фреймворков и агентных систем должны пересмотреть подходы к проектированию, внедряя принципы безопасного по умолчанию, строгую валидацию входных данных для инструментов и изоляцию для потенциально опасных операций.

Для отрасли это означает необходимость формирования новой дисциплины — безопасности AI-агентов. Инструменты вроде BarkingDog являются лишь первыми шагами. Компаниям, внедряющим автономных агентов для автоматизации бизнес-процессов, работы с клиентами или управления инфраструктурой, нужно осознать, что они открывают новые векторы атаки. Злоумышленник, получивший контроль над агентом, может украсть данные, совершить финансовые операции, изменить настройки критических систем или нанести репутационный ущерб. Пользователи, особенно в корпоративном секторе, должны требовать от поставщиков прозрачности в вопросах безопасности агентов и проведения специализированного тестирования на новые классы уязвимостей.

В перспективе эти вызовы приведут к ужесточению регулирования и появлению новых стандартов для AI-агентов, особенно в регулируемых отраслях. Инвестиции в исследования безопасного ИИ и разработку специализированных средств защиты будут расти. Одновременно начнется гонка вооружений между создателями новых методов атак и защитниками. Осознание, что AI-агент — это не просто чат-бот, а полноценный актор с доступом к реальным системам, должно лечь в основу проектирования всех будущих автономных систем.