ChartNet: MIT и IBM создали мультимодальный датасет для обучения ИИ анализу графиков

В научных статьях, бизнес-отчетах и аналитических материалах информация часто представлена в виде графиков. Однако современные визуально-языковые модели плохо справляются с их точным анализом. Главная проблема — нехватка масштабных и качественных данных для обучения. Этот пробел заполняет новый датасет ChartNet, созданный исследователями. Его цель — научить ИИ понимать структуру графика, извлекать числовые данные, сравнивать тренды и делать логические выводы.

ChartNet включает 240 тысяч графиков и 250 тысяч связанных вопросов. Для его создания использовали синтетическую генерацию и ручную разметку, что обеспечило масштаб и качество аннотаций. Датасет охватывает 15 типов графиков — от столбчатых диаграмм до тепловых карт. Каждый график сопровождается многоуровневыми вопросами. Они проверяют способность модели к разным типам понимания: от простого извлечения данных до сложных рассуждений, например, о прогнозе значения, если тренд продолжится. Такой подход позволяет обучать модели на широкой задаче анализа.

ChartNet создан в ответ на ограничения существующих решений. Многие современные визуально-языковые модели демонстрируют низкую точность при работе с графиками, особенно когда нужны арифметические операции или выводы, не представленные в данных явно. Предыдущие датасеты часто были небольшими, недостаточно разнообразными или сфокусированными на одной задаче. ChartNet, с его масштабом и структурой вопросов, позволяет обучать модели на более реалистичных и сложных сценариях.

Появление такого датасета имеет практическое значение для ряда областей. В научных исследованиях ИИ-ассистенты смогут автоматически анализировать графики в статьях, суммируя выводы. В бизнес-аналитике модели смогут работать с дашбордами и отчетами, отвечая на вопросы о динамике показателей. В образовании такие системы могут стать инструментом для интерактивных материалов, где студенты задают вопросы по графикам и получают объяснения.

Работа над ChartNet ведет к созданию более надежных мультимодальных ИИ. Способность интегрировать понимание визуальной и текстовой информации — ключ к интеллектуальным ассистентам, работающим с миром в его естественной форме. Успехи подчеркивают важность качества данных: самые совершенные архитектуры бесполезны без тщательно подобранных данных для обучения. ChartNet задает новый стандарт для создания обучающих наборов, открывая путь следующему поколению аналитических инструментов. Его структура и объем, включающие сотни тысяч элементов, напрямую направлены на решение проблемы недостатка данных, которая долгое время сдерживала прогресс в этой области машинного обучения.