Как создавали ChatGPT?

Создание ChatGPT заняло у компании OpenAI несколько лет и прошло через три крупных этапа.

Сначала модель обучили читать. Ей показали огромный объем текста из интернета — книги, статьи, сайты, форумы — и заставили миллиарды раз решать одну простую задачу: угадать следующее слово в предложении. Через сотни миллиардов таких попыток модель накопила статистическую картину того, как устроен язык, факты и логика рассуждений — это и есть базовая GPT-модель, предшественница ChatGPT.

Дальше начался этап дообучения с участием живых людей. Разметчики писали примеры хороших ответов на разные вопросы, и модель училась им подражать. Затем ей показывали несколько вариантов ответа на один и тот же запрос, а люди ранжировали их от лучшего к худшему — на этих оценках обучили отдельную модель, которая понимает, что людям нравится больше.

На последнем этапе саму ChatGPT донастроили методом подкрепления: она генерировала ответы, модель-оценщик из предыдущего шага ставила им баллы, и ChatGPT постепенно училась получать более высокие оценки — то есть отвечать так, как реально предпочитают люди, а не просто угадывать следующее слово.

Диалоги вручную никто не писал в промышленных масштабах — основной массив знаний модель взяла из текстов интернета, а живые люди в основном задавали направление, каким должен быть хороший ответ, а не сочиняли готовые реплики за нее.