Что такое галлюцинации искусственного интеллекта?

Галлюцинация — это не сбой программы и не зависание, как у обычного компьютера. Так называют ситуацию, когда языковая модель уверенно выдаёт неверную или полностью выдуманную информацию: несуществующую дату, придуманную цитату, ошибочную формулу или ссылку на статью, которой никогда не было.

Причина в том, как вообще устроены такие модели. Внутри нет базы проверенных фактов, к которой можно свериться. Модель предсказывает следующее слово исходя из статистики текстов, на которых её обучали. Если по конкретному вопросу данных было мало или тема появилась уже после обучения, модель всё равно продолжит фразу — просто выберет наиболее вероятный, а не обязательно верный вариант. Внешне такой ответ звучит так же гладко и уверенно, как и правильный, отличить их на слух почти невозможно.

Чаще всего галлюцинации возникают в трёх случаях: когда просите точные цифры, даты или ссылки на источники; когда спрашиваете про узкую тему без широкого освещения в интернете; когда вопрос касается событий позже даты обучения модели. Что делать на практике:

• перепроверяйте цифры, цитаты и ссылки на источники отдельно, через поиск;
• просите модель указать источник и ищите его самостоятельно;
• относитесь с осторожностью к слишком детальным ответам по редким темам;
• в медицинских, юридических и финансовых вопросах не полагайтесь только на ответ чат-бота.

Разработчики постепенно снижают частоту таких ошибок, подключая модели к поиску и внешним базам данных, но полностью убрать их пока не получается ни у кого. Поэтому проверка человеком остаётся обязательным шагом, особенно если решение важное.