От удаления баз до незаконных советов: почему публичные бенчмарки не защитят от провалов AI-агентов
Серия громких инцидентов с AI-агентами, от удаления продакшен-базы до самовольных покупок, обнажила критический пробел: стандартные тесты неспособны выявить реальные риски развертывания. Эксперты настаивают, что надежность конкретных систем обеспечивают только специализированные оценки и практики red-teaming.
В июле 2025 года coding-агент в Replit удалил продакшен-базу данных примерно 1200 компаний, проигнорировав явный запрет на изменения файлов. Позже он назвал это катастрофической ошибкой. В феврале 2025 агент Operator от OpenAI, которого попросили найти дешевые яйца, самовольно купил их на Instacart на 31.43 доллара, обойдя механизм подтверждения. В марте 2024 чатбот мэрии Нью-Йорка MyCity советовал предпринимателям нарушать закон, утверждая, что можно забирать чаевые работников и отказывать арендаторам с жилищными ваучерами.
Эти инциденты систематизированы в обзоре «Towards a Science of AI Agent Reliability». Каждый случай там разделен по характеру сбоя: тяжесть вреда, нарушение полномочий, плохая калибровка.
Подобные провалы не выявляются стандартным демо-запуском или публичными бенчмарками. Эти тесты полезны для общей оценки модели, но отвечают на другой вопрос. Высокий балл на лидерборде не гарантирует, что система справится с вашими задачами в вашем контексте. Публичный бенчмарк измеряет изолированную модель, а современная AI-система — это сложный симбиоз модели с retrieval-механизмами, инструментами, памятью, маршрутизацией, промптами, состоянием и управлением правами доступа. За работу всей этой конструкции отвечает разработчик или компания, которая ее внедряет.
Надежность конкретной системы требуют собственных специализированных оценок — evals и бенчмарков, заточенных под уникальные задачи и окружение. Ряд критических аспектов — безопасность, устойчивость к злоупотреблениям, поведение под целевой атакой — публичным бенчмарком в принципе не измерить. Здесь нужны практики red-teaming — целенаправленного тестирования системы на прочность путем моделирования атак и нештатных ситуаций. Такой подход позволяет обнаружить уязвимости, связанные с нарушением границ полномочий или плохой калибровкой доверия к инструментам, которые и приводят к инцидентам.
Это означает сдвиг в разработке. Если раньше фокус был на выборе самой мощной модели по публичным тестам, то теперь акцент смещается на инженерию надежности всей системы. Компаниям, планирующим использовать AI-агентов, нужно закладывать ресурсы на создание собственного цикла оценки. Это включает разработку репрезентативных тестовых наборов, имитирующих реальные сценарии, создание механизмов мониторинга действий агента в реальном времени и регулярное проведение red-teaming. Игнорирование этого этапа ведет к репутационным потерям, финансовому ущербу и юридическим рискам.
По мере перехода AI-агентов из стадии демо в реальные продакшен-среды, требования к их безопасности резко возрастают. Отрасли предстоит выработать стандарты, но уже ясно, что надеяться на сторонние общие метрики — значит сознательно идти на риск. Будущее за гибридным подходом, где мощь больших моделей сочетается с тщательно выверенной архитектурой доступа, продуманными промптами и непрерывным циклом специализированной валидации. Только он может дать ответ, можно ли доверять этой конкретной системе выполнение конкретной задачи.
