Что такое GPT?

GPT расшифровывается как Generative Pre-trained Transformer — генеративный предобученный трансформер. Это архитектура и способ обучения нейросети, а не конкретный продукт: GPT — название семейства моделей от OpenAI (GPT-3, GPT-4 и так далее), а ChatGPT — конечный продукт, чат-интерфейс, построенный на основе одной из этих моделей.

Каждое слово в названии описывает суть технологии:

• генеративный — модель создаёт новый текст, а не выбирает готовый ответ из базы;
• предобученный — сначала модель проходит обучение на огромном объёме текста из интернета, книг, статей, и только потом её дообучают под конкретные задачи вроде диалога;
• трансформер — архитектура нейросети, которая умеет учитывать связь между словами независимо от того, как далеко они друг от друга в тексте.

Отличие от обычной программы принципиальное: классическая программа выполняет заранее прописанные правила, а GPT-модель предсказывает наиболее вероятное продолжение текста на основе статистики, увиденной при обучении. У неё нет базы фактов и жёсткой логики — есть выученная закономерность, как обычно продолжается похожий текст.

Отсюда и типичные ошибки таких моделей: они могут уверенно выдать неправильный факт, если он статистически похож на правду, потому что по сути не проверяют, а угадывают наиболее вероятное продолжение.