Безопасность ИИ

KPMG отозвала отчет о внедрении ИИ с вымышленными примерами из практики клиентов

Консалтинговый гигант KPMG опубликовал и затем отозвал отчет о внедрении искусственного интеллекта, содержащий вымышленные примеры из практики крупных организаций, включая UBS и NHS.

Иллюстрация к новости: KPMG отозвала отчет о внедрении ИИ с вымышленными примерами из практики клиентов

Консалтинговый гигант KPMG отозвал отчет о внедрении искусственного интеллекта в бизнес. В документе обнаружились вымышленные примеры из практики крупных организаций.

Основатель компании GPTZero Эдвард Тян, который помог выявить ошибки, назвал проблему "вторичными галлюцинациями". Это распространение ложных утверждений из авторитетных источников, которые затем циркулируют без проверки.

По данным The Decoder, отчет KPMG был предназначен для демонстрации преимуществ ИИ потенциальным клиентам. Вымышленные кейсы могли служить для убеждения компаний в эффективности решений. Инцидент высветил новый риск. Опасность не в том, что ИИ-модель сама сгенерировала "галлюцинацию" - это привычный технический сбой. Проблема в том, что ложные данные, созданные или некритично принятые людьми, попали в официальный отчет авторитетной фирмы.

Это подчеркивает важность проверки данных в любых материалах по ИИ, независимо от источника. Разработчикам и предпринимателям, которые используют такие отчеты для принятия решений, стоит проявлять повышенную осторожность. Авторитет источника не гарантирует достоверности, особенно в гиперболизированной сфере искусственного интеллекта. Даже организации с огромными ресурсами могут стать каналом для недостоверных данных.

Для компаний, рассматривающих внедрение ИИ, случай служит предупреждением. При принятии стратегических решений на основе отчетов или кейсов необходимо проверять исходные факты. Риск "вторичных галлюцинаций" означает, что ложная информация может поступать через казалось бы надежные источники. Это требует более строгих внутренних процедур проверки и скептического отношения к неподтвержденным успешным примерам, особенно если они используются для продажи услуг.

В долгосрочной перспективе инцидент может усилить требования к прозрачности в отчетах консалтинговых и исследовательских организаций. Отрасль может столкнуться с необходимостью разработки стандартов проверки примеров из практики. Это также подчеркивает роль независимых экспертов и инструментов в выявлении недостоверной информации. Распространение ложных данных через авторитетные каналы подрывает доверие к технологии и может замедлить ее внедрение.

Вопросы читателей по теме

Все вопросы

Что такое галлюцинация в работе нейросети?

спрашивает Павел, Казань 308 просм.

Дмитрий Волков: Да, это она. Языковая модель - авторегрессионный предсказатель следующего токена: она обучена продолжать текст статистически правдоподобно, а не сверяться с базой проверенных фактов. Если в промпте или в контексте, который вы ей передали, точного значения характеристики нет, модель всё равно достраивает связный ответ, потому что это её единственная задача - выдать вероятное продолжение. Отличить такой…

Что такое дипфейк простыми словами?

спрашивает Николай, Новосибирск 389 просм.

Марина Соколова: Дипфейк - это не обычный монтаж, а видео или запись голоса, которую создала нейросеть, обучившись копировать конкретного человека. Программе показывают много фотографий и записей голоса этого человека, она запоминает черты лица, мимику, манеру говорить, а затем накладывает это на другое видео или сочиняет новую речь, которую человек никогда не произносил. Раньше такое умели делать только…

Можно ли доверять нейросетям?

спрашивает Ирина, Пермь 510 просм.

Сергей Орлов: Доверие здесь стоит делить не на "да" и "нет", а по типу задачи и цене ошибки. Языковая модель не хранит базу проверенных фактов, а предсказывает наиболее вероятное продолжение текста, поэтому она одинаково уверенным тоном пишет и правду, и выдумку - интонация ответа вообще ничего не говорит о его точности. Для черновиков, идей, структуры текста, брейншторма…

Что такое дипфейки?

спрашивает Екатерина, Новосибирск 510 просм.

Марина Соколова: Дипфейк - это видео, фото или аудиозапись, где нейросеть подменяет лицо, мимику или голос человека на синтетические, обученные так, чтобы выглядеть настоящими. Для этого сети показывают десятки или сотни фотографий и записей голоса конкретного человека, она учится воспроизводить его черты и интонации, а затем накладывает это на исходное видео или генерирует новую речь с нуля.…