Как работает ChatGPT?

ChatGPT работает на языковой модели GPT — программе, которая на каждом шаге предсказывает следующее слово в тексте, опираясь на все, что написано до него. Модель не хранит готовых ответов в базе и не ищет их в интернете во время разговора. Она генерирует текст слово за словом, выбирая наиболее вероятное продолжение исходя из того, чему научилась на огромном массиве текстов: книг, статей, форумов, кода.

Обучение проходит в два основных этапа. Сначала модель долго тренируют на сыром тексте из интернета просто предсказывать следующее слово — так она выучивает грамматику, факты, стиль и логику рассуждений. Затем идет донастройка: живые люди оценивают ответы модели, отмечают, какой вариант лучше, а какой хуже, и на этой обратной связи модель учат отвечать полезно и по делу, а не просто продолжать текст любым способом.

Из этого устройства вытекает и главная слабость. Модель не проверяет факты, она подбирает статистически правдоподобное продолжение. Если тема редкая или в обучающих данных встречалась похожая ошибка, ChatGPT может уверенно выдать неверную дату, цифру или цитату, звучащую вполне убедительно. Поэтому важные факты, особенно цифры и ссылки на источники, лучше перепроверять отдельно, а не принимать на веру только потому, что ответ написан гладко.

Кстати, чат от Джека Дорси с ИИ-ботами в общей ленте — хороший пример того же принципа: бот там отвечает на основе тех же закономерностей предсказания текста, а не потому что «понимает» разговор так, как это делает человек.