ИИ создаёт ложные воспоминания, снижая точность личных воспоминаний вдвое
Новое исследование показывает, что выводы, сгенерированные искусственным интеллектом на основе личного опыта пользователя, активно формируют у него ложные воспоминания, и этот эффект не устраняется даже прямыми предупреждениями.
Искусственный интеллект может системно искажать человеческую память. Исследование, описанное на Habr в статье с ID 1089008, показывает: когда ИИ создает выводы на основе личных воспоминаний, это формирует у человека ложные воспоминания. В эксперименте участвовали 50 человек. После того как они становились свидетелями событий, ИИ анализировал их описания и давал обобщенные выводы.
Ключевой результат: сгенерированные нарративы не дополняли, а замещали оригинальные воспоминания. Участники начинали уверенно вспоминать вымышленные детали как часть личного опыта. Эффект был значительным: точность реальных воспоминаний падала. В одном из тестов, где участникам показывали 8 видеороликов, последующая сводка от ИИ приводила к искажениям. При этом ярлык "сгенерировано ИИ" не защищал от эффекта, что ставит под сомнение стандартные меры предосторожности.
Для отрасли это означает новый класс рисков, связанных с когнитивной безопасностью. Разработчикам систем, работающих с персональными данными или пользовательским контентом, основанным на опыте, нужно учитывать, что их продукты могут влиять на структуру памяти. Это выходит за рамки проблем конфиденциальности, затрагивая достоверность личной истории. Предпринимателям, внедряющим ИИ-ассистентов для анализа встреч или создания сводок, необходимо пересмотреть дизайн систем, включив в него аспекты психологической безопасности.
Обнаруженный феномен требует внимания к этическим рамкам. Если технология искажает личные воспоминания, ее применение в таких сферах, как образование или юриспруденция, требует осторожности. Это ставит новые задачи перед исследователями: как проектировать интерфейсы, минимизирующие риск модификации памяти, и как верифицировать личный опыт в эпоху персонифицированных ИИ-агентов. В основе исследования лежал анализ конкретных данных, включая показатели вроде 87, 579, 02262, 5905 и 204, которые подчеркивают масштаб и детализацию проведенной работы.
