Сбербанк открыл код Giga4DQM: система на GigaChat для автоанализа качества данных в базах
Сбербанк представил открытый проект Giga4DQM - систему на базе GigaChat, которая автоматически находит проблемы с качеством данных в базах, таких как PostgreSQL, анализируя их структуру и зависимости.
Сбербанк открыл исходный код системы Giga4DQM, которая использует языковую модель GigaChat для автоматического расследования проблем с качеством данных. Система понимает вопросы на естественном языке, самостоятельно анализирует структуру базы, строит граф зависимостей между таблицами и создает диагностические SQL-запросы. Это значительно ускоряет поиск причин сбоев, который раньше требовал глубокого знания схемы и ручного написания кода.
Архитектура Giga4DQM построена как мультиагентная система на основе GigaChat и фреймворка LangGraph. Важно, что система не привязана к одной конкретной СУБД. В демонстрационном примере используется PostgreSQL, но сам подход можно адаптировать для работы с любой базой данных, имеющей развитую систему метаданных.
Рабочий процесс начинается с получения от пользователя описания проблемы на естественном языке. Затем специальные агенты последовательно анализируют метаданные, идентифицируют затронутые таблицы и связи между ними, формируют проверочные запросы и в итоге предоставляют детальный отчет.
Такая автоматизация меняет подход к DataOps и управлению качеством данных. Ручной анализ в современных микросервисных и распределенных архитектурах часто оказывается чрезвычайно сложным и требует высокой квалификации специалистов. Использование интеллектуальных агентов, способных понимать контекст данных, позволяет ускорить реакцию на инциденты и снизить операционные риски. Это, в свою очередь, дает возможность инженерам сосредоточиться на решении более сложных и нестандартных задач, а не на рутинной диагностике.
Публикация исходного кода проекта выполняет две ключевые функции. Во-первых, это готовый к использованию инструмент. Во-вторых, это содержательный учебный кейс, который наглядно демонстрирует, как большие языковые модели могут применяться для решения конкретных инженерных проблем, выходящих далеко за рамки простой генерации текста. Разработчики получают возможность изучить архитектуру решения, доработать ее под свои нужды или адаптировать для работы с другими системами управления базами данных. Для финансового сектора, где требования к качеству и целостности данных особенно высоки, подобные системы могут стать важным элементом инфраструктуры, повышающим общую надежность и обеспечивающим соответствие регуляторным требованиям.
Этот шаг Сбербанка соответствует общей тенденции среди технологических компаний делиться своими прикладными наработками в области искусственного интеллекта. Одновременно он служит демонстрацией возможностей модели GigaChat для создания корпоративных решений. В перспективе можно ожидать появления аналогичных инструментов от других поставщиков, а также их интеграции с системами мониторинга и конвейерами непрерывной интеграции и доставки. Это сделает проверку качества данных автоматической и неотъемлемой частью жизненного цикла данных.
