Безопасность ИИ

IBM: 92% утечек в ИИ-системах вызваны слабым контролем доступа, а не уязвимостями моделей

Новое исследование IBM выявило, что подавляющее большинство инцидентов безопасности в сфере искусственного интеллекта происходит из-за фундаментальных организационных провалов, а не из-за взлома самих моделей.

Иллюстрация к новости: IBM: 92% утечек в ИИ-системах вызваны слабым контролем доступа, а не уязвимостями моделей

Исследование IBM показывает, что главная причина утечек в сфере ИИ - это слабая организационная защита, а не уязвимости в самих алгоритмах. В 92% компаний, столкнувшихся с такими инцидентами, не было базового контроля доступа к системам. Проблема фундаментальна: организации внедряют сложные технологии, но игнорируют классическую кибербезопасность. Сами модели редко становились прямой причиной утечки, что меняет представление об угрозах.

Отсутствие контроля доступа означает, что сотрудники или посторонние могли получить несанкционированный доступ к моделям, данным или API. Это ведет к утечке информации, манипуляциям с поведением модели, краже интеллектуальной собственности или злонамеренному использованию вычислительных ресурсов. Такие инциденты - уже реальность для компаний, активно внедряющих ИИ. Исследование указывает на разрыв между скоростью внедрения инноваций и зрелостью управления рисками.

Выводы имеют практическое значение. Они смещают фокус с чисто технических аспектов безопасности, таких как adversarial attacks или poisoning данных, на вопросы управления, политик и процедур. Разработчикам и продактам нужно работать с командами информационной безопасности с самого начала проекта. Руководителям стоит понять: инвестиции в передовые модели бесполезны без параллельных вложений в инфраструктуру безопасности, обучение персонала и принцип минимальных привилегий. Риск потерь из-за плохо защищенного API может перевесить все преимущества ИИ.

Отрасль, вероятно, столкнется с ужесточением регулирования и требований к аудиту ИИ-систем, где контроль доступа станет обязательным элементом. Поставщики решений могут активнее встраивать инструменты управления доступом в свои платформы. На рынке вырастет спрос на специалистов, которые понимают и классическую кибербезопасность, и специфику ИИ. Искусственный интеллект - это прежде всего информационная система, и к ней применимы все проверенные правила защиты данных. Игнорирование этих правил ведет к инцидентам. В конечном счете, безопасность ИИ - это не только про модели, но и про людей и процессы вокруг них.

Вопросы читателей по теме

Все вопросы

Что такое галлюцинация в работе нейросети?

спрашивает Павел, Казань 308 просм.

Дмитрий Волков: Да, это она. Языковая модель - авторегрессионный предсказатель следующего токена: она обучена продолжать текст статистически правдоподобно, а не сверяться с базой проверенных фактов. Если в промпте или в контексте, который вы ей передали, точного значения характеристики нет, модель всё равно достраивает связный ответ, потому что это её единственная задача - выдать вероятное продолжение. Отличить такой…

Что такое дипфейк простыми словами?

спрашивает Николай, Новосибирск 389 просм.

Марина Соколова: Дипфейк - это не обычный монтаж, а видео или запись голоса, которую создала нейросеть, обучившись копировать конкретного человека. Программе показывают много фотографий и записей голоса этого человека, она запоминает черты лица, мимику, манеру говорить, а затем накладывает это на другое видео или сочиняет новую речь, которую человек никогда не произносил. Раньше такое умели делать только…

Можно ли доверять нейросетям?

спрашивает Ирина, Пермь 510 просм.

Сергей Орлов: Доверие здесь стоит делить не на "да" и "нет", а по типу задачи и цене ошибки. Языковая модель не хранит базу проверенных фактов, а предсказывает наиболее вероятное продолжение текста, поэтому она одинаково уверенным тоном пишет и правду, и выдумку - интонация ответа вообще ничего не говорит о его точности. Для черновиков, идей, структуры текста, брейншторма…

Что такое дипфейки?

спрашивает Екатерина, Новосибирск 510 просм.

Марина Соколова: Дипфейк - это видео, фото или аудиозапись, где нейросеть подменяет лицо, мимику или голос человека на синтетические, обученные так, чтобы выглядеть настоящими. Для этого сети показывают десятки или сотни фотографий и записей голоса конкретного человека, она учится воспроизводить его черты и интонации, а затем накладывает это на исходное видео или генерирует новую речь с нуля.…