Как разработчики создали ChatGPT?

Это не программа в привычном смысле, с прописанными правилами, а обученная модель, и путь к ChatGPT занял несколько лет и три больших этапа.

Первый этап — предобучение. Модель (архитектура называется трансформер) прогоняют через огромный массив текста из интернета, книг и кода, счёт идёт на триллионы слов. Задача на этом шаге одна: предсказать следующее слово в предложении. Через миллиарды таких предсказаний и поправок модель накапливает статистику языка — какие слова обычно идут за какими, как устроены факты, код, диалоги.

Второй этап — дообучение на примерах хороших ответов. Людям показывают вопросы и просят написать образцовый ответ: подробный, вежливый, по делу. Модель дообучают именно на таких примерах, чтобы она отвечала в формате диалога, а не просто продолжала текст, как на первом этапе.

Третий этап — обучение с подкреплением по человеческой обратной связи. Модели дают несколько вариантов ответа на один вопрос, а люди-разметчики ранжируют, какой лучше. На основе этих оценок отдельная модель учится предсказывать, что понравится человеку, и основную модель донастраивают под эту оценку. Именно этот этап делает ответы более полезными и менее склонными к грубости или откровенной ерунде.

Итоговая модель — не база готовых ответов, а система, которая на лету генерирует текст слово за словом, опираясь на всё, чему научилась на этих трёх этапах. Поэтому она иногда уверенно ошибается: она предсказывает наиболее вероятное продолжение, а не сверяется с фактической базой данных.