Что такое галлюцинация нейросети?

Галлюцинация — это когда нейросеть выдаёт вымышленную информацию как достоверную: несуществующую статью, неверную дату, придуманную цитату или ссылку на источник, которого нет в природе. Дело не в обмане и не в поломке программы. Языковая модель не хранит базу проверенных фактов, она предсказывает наиболее вероятное продолжение текста на основе того, что видела при обучении. Если точного ответа в её памяти не нашлось, она всё равно выдаёт связный и уверенно звучащий текст — поэтому выдумка получается такой убедительной.

Чаще всего это случается в трёх ситуациях: вопрос касается узкой темы, где в обучающих данных было мало примеров; вас просят назвать точные цифры, даты или ссылки на источники; тема появилась уже после того, как модель обучили. Простое правило: чем конкретнее и подробнее звучит ответ на редкую тему, тем осторожнее к нему стоит относиться.

Что стоит делать на практике:

• проверяйте цифры, даты, цитаты и ссылки на источники через поиск или первоисточник;
• просите модель указать, откуда взята информация, и ищите этот источник отдельно;
• относитесь с сомнением к слишком гладким и детальным ответам по узким темам;
• в медицине, праве и финансах не принимайте решение только на основе ответа чат-бота.

Полностью убрать галлюцинации разработчики пока не умеют. Подключение модели к реальному поиску и базам данных снижает их частоту, но проверка человеком всё равно остаётся обязательной, особенно если ответ ляжет в основу важного решения.