Безопасность ИИ

Фонд Карнеги предупреждает: генеративный ИИ становится автономным кибероружием

Аналитики Фонда Карнеги зафиксировали тревожную тенденцию: генеративный ИИ превращается в автономное средство кибератак, действующее практически без контроля человека, что знаменует новую эпоху в информационной безопасности.

Иллюстрация к новости: Фонд Карнеги предупреждает: генеративный ИИ становится автономным кибероружием

Специалисты Фонда Карнеги предупреждают: генеративный ИИ становится автономным оружием для кибератак. Начинается новая эпоха в информационной безопасности, где средства нападения почти не зависят от человека.

Раньше генеративный ИИ был лишь инструментом - создавал фишинговые письма, подделывал голос или писал вредоносный код. Теперь системы способны сами находить уязвимости, адаптировать методы атаки и принимать решения в реальном времени для обхода защиты. Контроль человека над такой атакой становится минимальным. ИИ-система может сама ставить цели, выбирать тактику и выполнять операции, что снижает затраты времени злоумышленников и повышает масштабируемость угроз.

Индустрии безопасности нужен фундаментальный пересмотр подходов. Традиционные методы, основанные на сигнатурах угроз и анализе поведения, могут не сработать против постоянно обучающихся автономных агентов. Защита должна стать прогнозирующей, динамичной и тоже использовать ИИ, чтобы предугадывать действия противника. Перед разработчиками защитных решений и регуляторами стоит сложная задача - не только догонять, но и опережать развитие наступательных технологий. Также резко возрастает важность безопасности цепочек поставок ПО и "железа", так как автономный ИИ использует малейшую уязвимость для проникновения.

Для пользователей и бизнеса это означает рост частоты и изощренности атак. Целевой фишинг, созданный под конкретного человека с использованием данных из соцсетей, станет нормой. Участится создание deepfake для мошенничества. Автономные боты смогут проводить массовые DDoS-атаки с интеллектуальной сменой векторов. Финансовые потери и репутационные риски вырастут.

Тренд ведет к новой гонке вооружений в киберпространстве, где основными противниками станут автономные ИИ-системы нападения и защиты. Это требует не только технологических, но и серьезных международных регуляторных мер, направленных на ограничение разработки и применения автономного кибероружия. Учитывая скорость развития технологий, отставание в этой гонке может привести к катастрофическим последствиям для критической инфраструктуры и цифрового суверенитета государств. Поэтому инвестиции в исследования, разработку адаптивных систем защиты и формирование правовых рамок должны стать приоритетом уже сейчас.

Вопросы читателей по теме

Все вопросы

Что такое галлюцинация в работе нейросети?

спрашивает Павел, Казань 308 просм.

Дмитрий Волков: Да, это она. Языковая модель - авторегрессионный предсказатель следующего токена: она обучена продолжать текст статистически правдоподобно, а не сверяться с базой проверенных фактов. Если в промпте или в контексте, который вы ей передали, точного значения характеристики нет, модель всё равно достраивает связный ответ, потому что это её единственная задача - выдать вероятное продолжение. Отличить такой…

Что такое дипфейк простыми словами?

спрашивает Николай, Новосибирск 389 просм.

Марина Соколова: Дипфейк - это не обычный монтаж, а видео или запись голоса, которую создала нейросеть, обучившись копировать конкретного человека. Программе показывают много фотографий и записей голоса этого человека, она запоминает черты лица, мимику, манеру говорить, а затем накладывает это на другое видео или сочиняет новую речь, которую человек никогда не произносил. Раньше такое умели делать только…

Можно ли доверять нейросетям?

спрашивает Ирина, Пермь 510 просм.

Сергей Орлов: Доверие здесь стоит делить не на "да" и "нет", а по типу задачи и цене ошибки. Языковая модель не хранит базу проверенных фактов, а предсказывает наиболее вероятное продолжение текста, поэтому она одинаково уверенным тоном пишет и правду, и выдумку - интонация ответа вообще ничего не говорит о его точности. Для черновиков, идей, структуры текста, брейншторма…

Что такое дипфейки?

спрашивает Екатерина, Новосибирск 510 просм.

Марина Соколова: Дипфейк - это видео, фото или аудиозапись, где нейросеть подменяет лицо, мимику или голос человека на синтетические, обученные так, чтобы выглядеть настоящими. Для этого сети показывают десятки или сотни фотографий и записей голоса конкретного человека, она учится воспроизводить его черты и интонации, а затем накладывает это на исходное видео или генерирует новую речь с нуля.…