Что такое галлюцинация языковой модели?

Галлюцинация — это когда языковая модель выдаёт информацию, которая звучит правдоподобно и уверенно, но не соответствует действительности: несуществующую статью, неверную дату, придуманную цитату или цифру. Термин прижился именно потому, что модель «видит» факт, которого нет, — похоже на то, как человек путает воспоминание с выдумкой, только без осознания ошибки.

Причина в том, как модель устроена: она не хранит базу проверенных фактов, а предсказывает наиболее вероятное продолжение текста на основе того, что видела при обучении. Если в запросе есть пробел в знаниях модели — редкий факт, узкая тема, конкретная ссылка на источник — она всё равно генерирует связный ответ, потому что её задача продолжить текст, а не сказать «я не знаю». Отсюда и уверенный тон даже там, где под ним пустота.

Чаще всего галлюцинации возникают в трёх ситуациях:

• запрос про узкую или свежую тему, где в данных для обучения было мало примеров;
• просьба назвать точную цифру, дату или источник — модели особенно ненадёжны в точных деталях;
• длинный диалог, где модель постепенно уходит от изначального факта и начинает достраивать историю сама.

Проверить ответ несложно: попросите модель указать источник и затем найдите его отдельно, в поиске или базе данных, а не через ту же модель. Если цифра или цитата важна для решения — в работе, учёбе, финансах — перепроверка обязательна в любом случае, вне зависимости от того, насколько уверенно звучал ответ.