Как нейросеть создает текст?

Никакого «сочинения с нуля» в человеческом смысле там нет — модель предсказывает текст по одному фрагменту за раз.

Технически внутри стоит архитектура трансформер, обученная на огромном объеме текстов: книгах, статьях, коде, переписках. На этапе обучения модель миллиарды раз решала одну и ту же задачу — по кусочку текста угадать следующий фрагмент, токен. Из этого она вывела статистические закономерности языка: какие слова обычно идут после каких, как строятся предложения, как выглядит объяснение или инструкция.

Когда вы отправляете вопрос, модель не помнит конкретных источников и не смотрит в интернет — она заново, токен за токеном, генерирует наиболее вероятное продолжение с учетом вашего запроса. На каждом шаге она выбирает не всегда самый вероятный вариант, а один из нескольких похожих по вероятности — за это отвечает параметр температуры, поэтому один и тот же вопрос дает чуть разные формулировки при повторном запуске.

Отсюда же растут две ключевые особенности. Сильная сторона — текст получается связным и грамотным почти всегда, потому что модель прекрасно выучила структуру языка. Слабая сторона — модель может так же гладко и уверенно написать неверный факт, потому что для нее это тоже просто вероятное продолжение фразы, а не проверенное знание. Поэтому цифры, даты и цитаты из ответа стоит перепроверять отдельно, а не доверять только потому, что звучит убедительно.