Что такое галлюцинации в контексте нейросетей?

Это не сбой и не обман в привычном смысле — в языковой модели нет отдельной базы фактов, с которой можно свериться. Модель генерирует текст слово за словом, опираясь на то, какое продолжение статистически уместно после предыдущих слов, а не ищет ответ в справочнике. Такие правдоподобные, но выдуманные ответы и называют галлюцинациями.

Чаще всего они возникают в трех ситуациях: когда вопрос касается редкой или узкоспециальной темы, где обучающих данных было мало; когда нужны точные цифры, даты или ссылки на источник — модель хорошо помнит стиль, каким пишутся научные ссылки, но не саму базу публикаций; и когда вопрос сформулирован так, что модель считывает в нем ожидание конкретного ответа, даже если такого ответа не существует.

Проверить результат несложно:

• любую цитату, дату или цифру ищите отдельно в поисковике или базе вроде Google Scholar;
• просите модель дать прямую ссылку на источник, а не просто название — ссылку легче проверить;
• если тема узкая, спросите модель, насколько она уверена в ответе, и переформулируйте вопрос по-другому — разные формулировки иногда дают разный результат, это тоже сигнал.

Для рабочих задач, где цена ошибки высока — медицинские, юридические, финансовые темы, — правило простое: любой факт, который вы не можете проверить сами за пару минут, не стоит включать в итоговый документ до проверки по независимому источнику.