Эффективность контекста для ИИ-кодеров зависит от типа задачи: исследование на 936 прогонах Claude Code
Масштабное тестирование методов предоставления контекста для кодового агента показало, что не существует универсального лучшего подхода - выбор между grep, структурным графом и LSP зависит от характера решаемой задачи.
Исследование на 936 прогонах показало: эффективность методов предоставления контекста для кодового агента Claude Code сильно зависит от типа задачи. Универсального решения нет.
Эксперимент менял только один параметр - сервер MCP (Model Context Protocol), который дает агенту информацию о кодовой базе. Сам агент оставался неизменным. Тестирование провели на 26 задачах из проекта `apache/superset`, что дало статистически значимые результаты.
Сравнили четыре подхода: * `filesystem` - классический метод (grep и чтение файлов). * `graphlens` - анализ структурного графа кода. * `serena` - использование LSP (Language Server Protocol). * `codegraph`.
Для чистоты каждый подход проверили на трех версиях Claude (Haiku, Sonnet, Opus) с тремя разными сидами. Итог - 936 прогонов. Главный вывод: производительность методов радикально меняется от задачи к задаче. Ни один метод не лидирует стабильно во всех сценариях.
Это ставит под сомнение поиск "серебряной пули" в автоматизации разработки. Выбор стратегии - текстовый поиск, граф зависимостей или LSP - должен быть осознанным. Например, для рефакторинга или поиска взаимосвязей критичен структурный граф, а для локальных правок часто хватает grep.
Для разработчиков и компаний это означает необходимость гибкой настройки. Вместо поиска одного "лучшего" MCP-сервера, вероятно, потребуются системы, динамически выбирающие метод предоставления контекста под конкретную задачу или часть кода. Это добавляет сложности в интеграцию ИИ-агентов, но открывает путь к созданию более эффективных помощников.
Итог исследования - шаг к зрелому пониманию автоматизации. Фокус смещается с вопроса "какой инструмент лучше?" на вопрос "для какой задачи какой инструмент подходит?". Это ведет к детализированной оптимизации рабочих процессов, где ключевую роль играет не сам агент, а интеллектуальная система управления его контекстом.
