Эффективность контекста для ИИ-кодеров зависит от типа задачи: исследование на 936 прогонах Claude Code

Исследование на 936 прогонах показало: эффективность методов предоставления контекста для кодового агента Claude Code сильно зависит от типа задачи. Универсального решения нет.

Эксперимент менял только один параметр — сервер MCP (Model Context Protocol), который дает агенту информацию о кодовой базе. Сам агент оставался неизменным. Тестирование провели на 26 задачах из проекта `apache/superset`, что дало статистически значимые результаты.

Сравнили четыре подхода: * `filesystem` — классический метод (grep и чтение файлов). * `graphlens` — анализ структурного графа кода. * `serena` — использование LSP (Language Server Protocol). * `codegraph`.

Для чистоты каждый подход проверили на трех версиях Claude (Haiku, Sonnet, Opus) с тремя разными сидами. Итог — 936 прогонов. Главный вывод: производительность методов радикально меняется от задачи к задаче. Ни один метод не лидирует стабильно во всех сценариях.

Это ставит под сомнение поиск «серебряной пули» в автоматизации разработки. Выбор стратегии — текстовый поиск, граф зависимостей или LSP — должен быть осознанным. Например, для рефакторинга или поиска взаимосвязей критичен структурный граф, а для локальных правок часто хватает grep.

Для разработчиков и компаний это означает необходимость гибкой настройки. Вместо поиска одного «лучшего» MCP-сервера, вероятно, потребуются системы, динамически выбирающие метод предоставления контекста под конкретную задачу или часть кода. Это добавляет сложности в интеграцию ИИ-агентов, но открывает путь к созданию более эффективных помощников.

Итог исследования — шаг к зрелому пониманию автоматизации. Фокус смещается с вопроса «какой инструмент лучше?» на вопрос «для какой задачи какой инструмент подходит?». Это ведет к детализированной оптимизации рабочих процессов, где ключевую роль играет не сам агент, а интеллектуальная система управления его контекстом.