Nvidia SoL-Pi: оптимизация "упряжи" ИИ-агентов сокращает расход токенов почти вдвое

Исследователи Nvidia представили систему SoL-Pi, которая решает ключевую проблему автономных ИИ-агентов в автоматизации кода - чрезмерное потребление токенов. Суть в оптимизации "упряжи" - управляющего слоя между языковой моделью и средой выполнения, например, интерпретатором Python. По данным The Decoder, это сокращает расход токенов кодирующими агентами почти вдвое, до 49%, с минимальным ущербом для качества. Стоимость и скорость работы ИИ напрямую зависят от числа токенов, поэтому такое сокращение - конкретный шаг к эффективности.

Для создания и тестирования SoL-Pi исследовательский агент проанализировал 152 подхода в ходе более 3,000 прогонов. Методом проб и ошибок были найдены оптимальные конфигурации и инструкции для "упряжи", которые минимизируют избыточный обмен данными между агентом и средой. Ключевой задачей было не просто сократить текст, а перепроектировать протокол взаимодействия для максимально лаконичного и точного обмена. Основные успехи показаны на задачах генерации кода. На других тестах выигрыш менее выражен, что указывает на специфичность оптимизации под определенный тип задач.

Для индустрии автоматизации это значит потенциальное снижение операционных затрат и рост скорости. Кодирующие агенты для исправления багов, рефакторинга или написания кода по описанию упираются в экономику - каждый лишний токен стоит денег и времени. Сокращение потребления на 49%, как сообщает The Decoder, теоретически может почти вдвое снизить стоимость сессии работы с агентом или позволит за те же деньги решать более сложные задачи. Это делает автономные ИИ-инструменты доступнее для интеграции в рабочие процессы разработчиков и стартапов, для которых стоимость API-вызовов - существенный фактор.

Подход SoL-Pi может выйти за рамки coding-агентов. Принцип оптимизации "упряжи" - управляющего слоя между моделью и миром - применим к любым автономным агентам: в управлении бизнес-процессами, робототехнике или научном моделировании. Сокращение накладных расходов на коммуникацию позволяет агентам быстрее действовать в рамках контекстного окна модели. Однако результаты на других тестах показывают: универсального решения нет, для каждой области нужна своя тонкая настройка. Работа Nvidia задает вектор: прогресс в ИИ-агентах будет связан не только с мощностью моделей, но и с оптимизацией инфраструктуры, которая ими управляет.