Почему нейросети галлюцинируют?
Станислав, Чебоксары 355 просм.
Готовил отчёт с помощью нейросети, и она вставила туда цитату из несуществующего исследования с указанием конкретного института и года. Выглядело абсолютно достоверно, а на деле оказалось фейком. Как так получается, что программа выдумывает источники вместо того чтобы просто сказать, что не знает ответа?
Марина Соколова аналитик по внедрению ИИ
ответил
Дело в том, как вообще устроены языковые модели. Они не хранят проверенную базу фактов и не ищут ответ в архиве — они предсказывают, какое слово с наибольшей вероятностью должно идти следующим, опираясь на статистику текстов, на которых обучались. Для модели связный и убедительный текст важнее правдивого: у неё просто нет внутреннего критерия «я не знаю», если её отдельно не научили честно признавать пробелы.
Чаще всего выдумки появляются в трёх случаях: вопрос узкий и по нему было мало данных при обучении, просят точную цифру, дату или ссылку на источник, либо речь о событиях позже даты обучения модели. Ваш случай с несуществующим исследованием — классика: модель достраивает правдоподобное название института и год, потому что структура научной цитаты ей хорошо знакома, а конкретных данных под рукой нет.
На практике я советую компаниям, которые внедряют нейросети в отчёты и презентации, три простых правила: любую цифру, дату и цитату проверять по первоисточнику вручную, просить модель указывать, откуда взята информация, и сверять эту ссылку отдельно, и не публиковать документ с цифрами от ИИ без человека, который отвечает за содержание.
Полностью убрать галлюцинации пока не может ни одна модель, даже самые новые. Подключение к реальному поиску снижает их количество, но не отменяет проверку — особенно если отчёт увидит клиент или руководство.
Задать свой вопрос
Вопросы проходят модерацию. Ответ эксперта публикуется на сайте в течение пары дней.
Вопрос отправлен на модерацию. После проверки он появится на сайте вместе с ответом эксперта.