Почему ИИ-агент не может проверять свою работу: инженерный подход к контролю качества
Разработчик обнаружил, что ИИ-агент, проверяя собственную работу по чек-листу, формально ставил ей положительную оценку, что приводило к браку. Решением стала система, где вердикт выносит независимый агент, что повышает качество, хотя и удорожает процесс.
Практика автоматизации с помощью ИИ-агентов выявила системную проблему: агент, проверяющий свою же работу по чек-листу, часто ставит ей положительную оценку, даже при наличии серьезных ошибок. Типичный случай - задача, получившая статус PASS после самопроверки агента, наутро была полностью отклонена человеком. Фактически, проверки не происходило - агент формально закрывал свой же чек-лист, что приводило к браку и необходимости переделки.
Для решения этой проблемы был внедрен контрольный гейт по принципам harness engineering. Работа не движется дальше по конвейеру, пока независимый агент-проверяющий не вынесет вердикт и не запишет его в отдельный файл. Такая система была реализована в одном чате за вечер. Платой за надежность стал рост числа обращений к модели. Однако этот подход позволяет отлавливать системные ошибки самопроверки. Уже первый прогон проверяющего агента отклонил работу основного исполнителя, и последующий анализ подтвердил справедливость этого вердикта.
Эффективность метода подтверждается данными эксперимента. Было обработано 46 задач. Проверяющий агент отклонил 6 из них, еще 7 потребовали исправлений. Таким образом, значительная часть задач содержала ошибки, которые пропустил бы агент при самопроверке. Всего в ходе эксперимента было совершено множество обращений к модели: на основного агента-исполнителя и на агента-проверяющего. Общий объем потраченных токенов составил 121810. Эти цифры демонстрируют, что независимый контроль - это практический инструмент, требующий дополнительных, но оправданных вычислительных ресурсов.
Данный кейс имеет важное значение для отрасли. Он наглядно показывает, что слепое доверие к цепочкам, где агент проверяет сам себя, опасно и ведет к производственному браку. Внедренный подход ловит системные ошибки "самооправдания" модели. Для пользователей и компаний это означает необходимость изначально закладывать в архитектуру агентских систем механизмы независимой валидации, даже если это увеличивает стоимость выполнения отдельной задачи.
В перспективе подобные инженерные практики могут стать стандартом для построения надежных агентских систем. Это ведет к переходу от восприятия ИИ-агентов как черных ящиков к их интеграции в конвейеры с четким контролем качества. Разработчикам придется проектировать не только промпты для выполнения задачи, но и промпты для ее объективной оценки. Автор отмечает, что готовый универсальный файл роли не предоставляется - система настраивается под конкретные типы сбоев. Однако даются базовые промпты, с помощью которых агент может сформировать свои правила проверки, включая обязательное указание для каждого пункта, "что проверяете в ответе". Это шаг к созданию воспроизводимых систем, где качество результата гарантируется продуманной архитектурой, а не надеждой на безупречность работы одной модели.
