Исследование раскрыло главную статью расходов при работе с ИИ-агентами для кода

Исследование сессий разработки с ИИ-агентами выявило главную статью расходов. Основные затраты идут не на генерацию новых ответов, а на постоянную пересылку уже отправленного контекста в каждом запросе. Этот технический аспект меняет экономику подобных инструментов.

В среднем лишь небольшая часть токенов сессии тратится на ответы модели. Основная доля - входные токены. Из них только малая часть - новые инструкции от пользователя. Подавляющее большинство входных токенов - повторная отправка всей предыдущей истории диалога и кода. Финансовая нагрузка ложится не на генерацию ответов, а на техническую необходимость постоянно напоминать модели о проделанной работе.

Текущая архитектура, где каждый запрос обрабатывается изолированно, экономически неэффективна для длинных сессий. Пользователь платит многократно за одни и те же данные. Стоимость сессии может вырасти непропорционально из-за накопления контекста, что делает невыгодной работу с большими файлами или сложными многоитерационными задачами.

Необходимы архитектурные изменения. Потенциальные решения - сжатие истории, выборочная отправка релевантных фрагментов или внедрение сессий, где модель сохраняет состояние между запросами. При оценке стоимости внедрения ИИ-автоматизации нужно учитывать влияние растущего контекста. Текущая модель ценообразования, не разделяющая новые инструкции и повторный контекст, может быть пересмотрена. Для долгой работы с кодом или сложными задачами этот фактор становится ключевым. Экономика ИИ-инструментов упирается в технические ограничения, а не только в качество генерации. Это требует от разработчиков новых подходов к управлению контекстом и ценообразованию, чтобы сделать длительные сессии разработки финансово оправданными.