Что такое галлюцинация больших языковых моделей?

То, с чем вы столкнулись, называется галлюцинацией: модель выдает вымышленную информацию так же уверенно, как и настоящую, потому что технически не отличает одно от другого. Языковая модель не хранит базу проверенных законов и статей, она предсказывает наиболее вероятное продолжение текста на основе того, что видела при обучении. Если точного номера статьи под рукой не оказалось, модель все равно соберет правдоподобно звучащий ответ, потому что должна выдать хоть что-то связное.

В праве это особенно опасно, потому что кодексы состоят из похожих по номерам и структуре статей, и вымышленный номер выглядит абсолютно так же убедительно, как настоящий. Чаще всего галлюцинации возникают именно в узких и формальных темах: точные номера, даты, цитаты, ссылки на нормативные документы — как раз там, где ошибиться незаметно проще всего.

Что стоит делать в профессиональном контексте:

• любой номер статьи, пункт закона или ссылку на документ проверяйте по официальному источнику или системе вроде КонсультантПлюс, прежде чем вставлять в справку;
• не указывайте ответ нейросети как источник в официальных документах — только как черновик, который потом проверен человеком;
• если тема узкая и ответ звучит слишком гладко и подробно, это как раз повод отнестись к нему настороженнее, а не наоборот.

Полностью убрать галлюцинации разработчики пока не могут ни в одной модели. Снижают их частоту сервисы, которые подключают модель к реальной базе документов и заставляют ссылаться на конкретный источник, а не сочинять по памяти. Но для юридических и финансовых текстов проверка человеком все равно остается обязательным последним шагом.