Самая опасная ошибка AI-агента — не плохой код: почему автономная разработка пока невозможна

За год вокруг AI-агентов сложился четкий набор ожиданий: умнее модели, длиннее контекстные окна, автономнее агенты. Кажется, что осталось решить пару технических вопросов — и агент сам сможет вести сложные проекты. Однако главная преграда оказалась не в технике, а в ошибочном подходе.

Ошибка — в неспособности агентов работать с итеративным, нелинейным процессом реальной разработки. В жизни требования меняются, код переписывается, архитектура адаптируется. Нынешние агенты действуют как линейные исполнители: получили задачу, составили план, выполнили его. Но при появлении нового требования или ошибки в изначальном подходе, агент не может пересмотреть весь предыдущий контекст и адаптировать работу. Это ведет к накоплению противоречий и ошибок, которые делают проект нерабочим.

Эксперименты это подтверждают. Например, если агенту в процессе разработки дают дополнительное, меняющее условия требование, он часто продолжает старый план, игнорируя новые данные, или локально ‘латает’ изменения, создавая логические противоречия. Дело не в ‘плохом коде’ — код может быть синтаксически верным. Проблема в неспособности управлять состоянием проекта в динамичной среде, где каждое действие меняет контекст для следующих шагов. С ростом сложности проекта это усугубляется: на простых задачах агенты работают, но на многомодульных системах с взаимозависимостями их архитектура мышления дает сбой.

Для индустрии автоматизации это означает пересмотр базовых принципов построения агентов. Вместо фокуса на увеличении контекстного окна или мощности модели, нужно решать проблему ‘состояния’ и ‘памяти’ агента в меняющемся мире. Это может привести к новым архитектурам, где агент постоянно пересчитывает не только план, но и всю модель проекта, или к гибридным системам, где человек-разработчик выступает ‘редактором состояния’, корректируя ключевые точки. Для пользователей — разработчиков и компаний — это сигнал: полностью автономные агенты для сложной разработки пока не готовы. Сегодняшние инструменты стоит рассматривать как мощных помощников для четко определенных, относительно стабильных задач, но не как замену человеческому управлению проектом.

Эволюция AI-агентов в разработке пойдет не по пути простого увеличения автономии, а по пути создания гибких, адаптивных систем, способных на постоянную ревизию. Возможно, следующим шагом станут агенты, которые явно моделируют не только код, но и мета-информацию о проекте: зависимости, требования, историю изменений. Или системы, которые активно запрашивают подтверждение при обнаружении противоречий. Это сложнее, но необходимо, если мы хотим, чтобы ИИ стал партнером в создании сложного ПО, а не просто генератором фрагментов кода.