Что такое галлюцинация в работе нейросети?

Да, это она. Языковая модель — авторегрессионный предсказатель следующего токена: она обучена продолжать текст статистически правдоподобно, а не сверяться с базой проверенных фактов. Если в промпте или в контексте, который вы ей передали, точного значения характеристики нет, модель всё равно достраивает связный ответ, потому что это её единственная задача — выдать вероятное продолжение. Отличить такой ответ от настоящего на глаз почти невозможно, звучит он так же уверенно.

Архитектурно частоту снижают несколько приёмов, и первый по эффективности — RAG вместо чистого промпта: вместо того чтобы просить модель «вспомнить» характеристики, вы на каждый запрос находите нужный кусок документации через поиск и передаёте его в контекст прямо в запросе, а в системный промпт добавляете жёсткое ограничение вида «отвечай только на основании переданного текста, если данных нет, сообщи об этом прямо».

Дальше помогают более простые вещи:

• понизить температуру генерации для фактических ответов, это уменьшает случайность выбора токенов;
• добавить проверочный шаг, второй, более дешёвый вызов модели, который сверяет итоговый ответ с исходным куском документации перед отправкой пользователю;
• логировать случаи, когда модель отвечает без найденного в базе фрагмента, и разбирать их отдельно.

Полностью убрать галлюцинации на текущих архитектурах нельзя, RAG и валидация снижают их частоту в разы, но не до нуля, поэтому для критичных характеристик продукта я бы всё равно оставил ссылку на источник в ответе бота, чтобы пользователь мог проверить.