Что такое языковая модель и почему она ошибается

Языковая модель это программа, обученная предсказывать следующее слово в тексте на основе огромного количества примеров человеческой речи, а не база готовых ответов с фактами. Именно языковая модель отвечает за диалог в ChatGPT, GigaChat, YandexGPT и других похожих сервисах: вы пишете вопрос, а модель угадывает, какими словами логичнее всего на него ответить.

Разница между "знать" и "угадывать" здесь принципиальная. Когда человек отвечает на вопрос, он опирается на память о конкретных фактах. Языковая модель устроена иначе: она смотрит на весь ваш текст и вычисляет вероятность каждого следующего слова, опираясь на закономерности, которые заметила при обучении. Иногда эти закономерности совпадают с реальностью почти идеально. Иногда - нет, и тогда получается уверенно написанная неправда.

Как это работает: предсказание, а не поиск

Проще всего представить языковую модель как очень прокачанную клавиатуру смартфона, которая подсказывает следующее слово, пока вы печатаете сообщение. Обычная клавиатура учится на вашей переписке и предлагает варианты вроде "молоко", "хлеб", "яйца". Языковая модель делает то же самое, но обучена не на вашей переписке, а на текстах, из которых состоит значительная часть интернета: статьях, книгах, форумах, коде, диалогах. И вместо трёх вариантов слова она перебирает десятки тысяч, выбирая не случайный, а наиболее вероятный с учётом всего написанного до этого момента.

Токены, а не слова целиком

Технически модель работает не со словами, а с токенами - кусочками текста, на которые разбивается любая фраза. Короткое слово чаще всего это один токен, длинное или редкое может распасться на два-три. Модель предсказывает следующий токен, добавляет его к тексту, снова смотрит на получившуюся фразу целиком и предсказывает токен после неё. Так, шаг за шагом, собирается весь ответ - и в этом кроется первая причина ошибок: модель не придумывает ответ целиком заранее, а собирает его по кусочкам, и на каком-то шаге может свернуть не туда.

Почему модель не хранит факты как энциклопедия

Во время обучения языковая модель не запоминает тексты дословно и не складывает факты в отдельную папку, которую потом открывает по запросу. Всё, что она выучила, превращается в миллиарды числовых коэффициентов - весов, которые описывают, как связаны между собой слова, понятия и стили речи. Факт, который встречался в обучающих текстах часто и в разных формулировках, отпечатывается в этих весах прочно. Факт редкий, противоречивый или упомянутый один раз отпечатывается слабо, и модель на его месте достраивает то, что кажется правдоподобным.

Из-за этого языковая модель одинаково уверенным тоном отвечает и там, где действительно права, и там, где на самом деле гадает. Внутри у неё нет отдельного механизма, который бы сказал "здесь я не уверена, лучше промолчать". Задача, на которую её обучали, - складывать связный и похожий на правду текст, а не признаваться в незнании.

Откуда берутся ошибки и галлюцинации

Ошибки языковых моделей стоит делить на несколько типов, чтобы понимать, чему в ответе можно верить, а что стоит проверить отдельно.

Модель ничего не знает о событиях позже определённого момента - у каждой версии есть примерный рубеж, после которого она просто не видела новых текстов. Если не подключена функция поиска в интернете, о свежих новостях, ценах или релизах модель либо честно скажет, что не в курсе, либо, что хуже, попробует угадать по аналогии со старыми данными и ошибётся.

На редких и узких темах, где обучающих примеров было мало, модель начинает "галлюцинировать" - придумывать несуществующие названия, цифры, цитаты и даже научные работы, которые никогда не публиковались. Причём звучит это так же гладко и уверенно, как правильный ответ, потому что стиль изложения от достоверности не зависит.

Модель может путать похожие факты между собой: два человека с похожими именами, два события с близкими датами, две версии одного продукта. В её внутреннем представлении эти сущности расположены рядом друг с другом, и при генерации текста она иногда берёт признак одного объекта и приписывает его другому.

Наконец, модель наследует ошибки, шутки и заблуждения из тех текстов, на которых её обучали. Если в интернете какой-то миф повторяется тысячи раз, модель с высокой вероятностью выучит его как правдоподобный вариант ответа, даже если это неправда.

Мультимодальность: языковая модель работает не только с текстом

Современные языковые модели давно вышли за пределы переписки. Тот же принцип предсказания применяют к изображениям, голосу и даже коду: модель училась не только на текстах, но и на парах "картинка и её описание" или "звук и его расшифровка", поэтому может распознавать содержимое фото, рисовать по описанию и отвечать голосом. Логика ошибок при этом остаётся той же: там, где модель уверена, результат хороший, а на редких и специфичных запросах она способна дорисовать деталь, которой не было. Подробнее о том, как это устроено на практике, можно посмотреть в материале ChatGPT и картинки: как работать с изображениями в чате - там разобраны конкретные сценарии и ограничения.

Доступ к таким моделям сегодня чаще идёт через телефон, а не десктоп, и здесь есть отдельная ловушка: в сторах хватает подделок под популярные приложения. Прежде чем ставить очередного "ИИ-помощника" с непонятным разработчиком, стоит свериться с инструкцией ChatGPT на Android и iPhone: как поставить и не нарваться на подделку.

Частые заблуждения о языковых моделях

• Модель "знает" ответ. Она не хранит факты как готовые записи, а каждый раз заново вычисляет наиболее вероятное продолжение текста. Совпадение с реальностью - следствие качественного обучения, а не обращения к хранилищу истины.
• Чем больше модель, тем меньше в ней ошибок. Размер снижает частоту явных провалов на распространённых темах, но не убирает галлюцинации полностью. На узких и редких вопросах даже самая крупная модель может уверенно выдумать несуществующий факт.
• Модель врёт специально. У неё нет намерения обмануть - она не различает правду и вымысел как отдельные категории. Есть только более и менее вероятные продолжения текста, и иногда вероятное не совпадает с истинным.
• Уверенный тон ответа значит, что он правильный. Стиль генерации не связан с достоверностью содержания: модель звучит одинаково гладко и когда права, и когда ошибается.
• Модель видит интернет прямо сейчас. По умолчанию нет. Часть сервисов подключает отдельную функцию поиска, и тогда модель действительно может свериться со свежими страницами, но базовая версия отвечает исходя из того, что запомнила при обучении, и может не знать о событиях последних месяцев.

Как проверять то, что пишет языковая модель

Относиться к ответу стоит как к черновику от толкового, но невнимательного помощника. Несколько практических правил снимают большую часть проблем:

• Просите модель указывать источник или хотя бы уточнять, насколько она уверена в конкретной цифре или дате - формулировка вопроса напрямую влияет на осторожность ответа.
• Точные цифры, даты, цитаты и юридические формулировки всегда сверяйте отдельно через поиск или первоисточник, особенно если на них потом придётся ссылаться.
• Для черновиков текста, идей и структуры ответа модель подходит отлично именно потому, что там не требуется абсолютная точность, а нужна скорость и разнообразие вариантов.
• Если вопрос узкий и специфичный - редкий термин, малоизвестное событие, статистика по небольшой нише - относитесь к ответу настороженнее: именно здесь модель чаще всего начинает додумывать.

Опробовать эту логику можно и без платной подписки: часть сервисов работает бесплатно с ограничениями по числу запросов в сутки, и разница между ними в том, где граница смягчается, а где превращается в неудобство. Обзор таких вариантов есть в материале Бесплатные нейросети: что реально работает без оплаты и VPN.

У разных моделей перечисленные особенности проявляются по-разному: одна лучше держит редкие факты, другая честнее признаётся в незнании. Разборы конкретных сервисов и их ограничений можно найти через архив рубрики.

Главный вывод простой: языковая модель не заменяет проверку фактов, она ускоряет черновую работу. Формулируйте вопрос конкретно, просите модель отдельно отмечать то, в чём она не уверена, и всегда перепроверяйте цифры, даты и цитаты, прежде чем передать текст дальше.