Безопасность ИИ

Почему нейросети галлюцинируют?

Станислав, Чебоксары 355 просм.

Готовил отчёт с помощью нейросети, и она вставила туда цитату из несуществующего исследования с указанием конкретного института и года. Выглядело абсолютно достоверно, а на деле оказалось фейком. Как так получается, что программа выдумывает источники вместо того чтобы просто сказать, что не знает ответа?

Марина Соколова аналитик по внедрению ИИ

ответил

эксперт

Дело в том, как вообще устроены языковые модели. Они не хранят проверенную базу фактов и не ищут ответ в архиве — они предсказывают, какое слово с наибольшей вероятностью должно идти следующим, опираясь на статистику текстов, на которых обучались. Для модели связный и убедительный текст важнее правдивого: у неё просто нет внутреннего критерия «я не знаю», если её отдельно не научили честно признавать пробелы.

Чаще всего выдумки появляются в трёх случаях: вопрос узкий и по нему было мало данных при обучении, просят точную цифру, дату или ссылку на источник, либо речь о событиях позже даты обучения модели. Ваш случай с несуществующим исследованием — классика: модель достраивает правдоподобное название института и год, потому что структура научной цитаты ей хорошо знакома, а конкретных данных под рукой нет.

На практике я советую компаниям, которые внедряют нейросети в отчёты и презентации, три простых правила: любую цифру, дату и цитату проверять по первоисточнику вручную, просить модель указывать, откуда взята информация, и сверять эту ссылку отдельно, и не публиковать документ с цифрами от ИИ без человека, который отвечает за содержание.

Полностью убрать галлюцинации пока не может ни одна модель, даже самые новые. Подключение к реальному поиску снижает их количество, но не отменяет проверку — особенно если отчёт увидит клиент или руководство.

Задать свой вопрос

Вопросы проходят модерацию. Ответ эксперта публикуется на сайте в течение пары дней.

Похожие вопросы

Все в теме