Avito автоматизировала миграцию данных с Vertica на Trino с помощью локальной LLM и инженерного пайплайна
Разработчики Avito поделились опытом создания надёжного инженерного пайплайна для миграции сотен витрин данных, где локальная языковая модель стала не магической палочкой, а инструментом, требующим сложной системы контроля и доработки.
Инженеры Avito автоматизировали миграцию витрин данных с Vertica на Trino, применив локальную большую языковую модель. Ключевой вывод: сама модель не решает сложную инженерную задачу. Основная сложность - обеспечить корректность, надёжность и соответствие бизнес-логике сгенерированного кода.
Наивный подход - дать модели исходный код и попросить переписать его - приводил к множеству ошибок и неконсистентности. Модель ошибалась в синтаксисе, некорректно интерпретировала бизнес-правила и порождала код, который компилировался, но давал неверные результаты. Это заставило команду пересмотреть роль ИИ, превратив его из "чёрного ящика" в управляемый компонент инженерного пайплайна.
Задача - мигрировать сотни витрин - исключала ручную работу. После первых экспериментов стало ясно: без жёсткого контроля и системы валидации автоматическая миграция невозможна. Ценность создаётся не моделью, а инфраструктурой вокруг неё, которая находит, классифицирует и исправляет ошибки.
Команда построила многоэтапный пайплайн. Первым шагом была предварительная обработка исходных скриптов. Затем следовала генерация кода с помощью LLM. Ключевыми этапами стали автоматическое тестирование сгенерированного кода и сравнение результатов выполнения на старой и новой платформах. Финальным шагом было ручное ревью и точечная доработка проблемных мест.
Особое внимание уделили краевым случаям и специфичным для Vertica функциям, которые модель могла преобразовать некорректно. LLM стала ассистентом внутри регламентированного и контролируемого процесса.
Этот опыт демонстрирует эволюцию подхода: будущее не в замене инженеров моделями, а в создании гибридных систем. Человеческая экспертиза и инженерные практики - тестирование, CI/CD, контроль версий - направляют и дополняют возможности ИИ. Для бизнеса это означает возможность выполнять масштабные миграции быстрее, сохраняя качество.
Формируется новая специализация на стыке ML-инженерии и DevOps. Ключевой навык - умение встроить генеративные модели в надёжные, воспроизводимые и отлаживаемые пайплайны, минимизируя "магию" и максимизируя предсказуемость. Успех зависит от построения строгой системы проверок, где каждый этап автоматизирован, но критически важные решения остаются за человеком.
