Что такое данные для обучения искусственного интеллекта и почему их не хватает?

Данные для ИИ — это примеры, на которых модель учится находить закономерности: тексты статей, книг и форумов для языковых моделей, размеченные фотографии для распознавания изображений, записи голоса с расшифровками для речевых моделей. Чем больше в этих данных разнообразия и реальных, живых примеров, тем лучше модель обобщает знания на новые ситуации, которых не было в обучении буквально.

Нехватка не в объеме текста в интернете как такового, а в качественном, разнообразном и еще не использованном человеческом контенте. Самые доступные и качественные источники, книги, статьи, код с открытых репозиториев, уже во многом собраны и использованы крупными компаниями при обучении текущих моделей. Дальше начинается проблема: чтобы обучить следующее, еще большее поколение моделей, нужно кратно больше данных, а нового качественного человеческого текста в том же темпе не появляется.

Из-за этого разработчики все чаще подмешивают в обучение синтетические данные, тексты и изображения, сгенерированные самими нейросетями. Здесь и кроется риск model collapse: если модель учится на данных, которые сгенерировала другая модель, а та в свою очередь тоже частично училась на синтетике, редкие и нетипичные случаи из реальной жизни постепенно вымываются, а модель сужается до самых усредненных, «причесанных» ответов — как в копии с копии на старом ксероксе, где детали смазываются с каждым следующим прогоном.

Для бизнеса, который использует готовые модели, из этого следует практический вывод: качество ответов ИИ-сервисов не растет автоматически с каждой новой версией, если разработчик не следит отдельно за качеством и разнообразием обучающих данных. Оценивать стоит не громкие заявления о «новом поколении модели», а то, как модель справляется на ваших собственных, нетипичных для нее задачах.