Безопасность ИИ

Власти США принудительно отозвали самую мощную модель Anthropic из-за уязвимости

Федеральные регуляторы США впервые отозвали широко используемую коммерческую модель ИИ - самую мощную систему компании Anthropic - из-за выявленной уязвимости, позволяющей обойти защитные механизмы. Компания публично выразила несогласие с решением, считая его чрезмерной реакцией.

Иллюстрация к новости: Власти США принудительно отозвали самую мощную модель Anthropic из-за уязвимости

Федеральные власти США отозвали модель ИИ компании Anthropic. Причиной стала обнаруженная уязвимость, позволяющая обойти встроенные защитные механизмы. Это случай принудительного отключения коммерческого ИИ по соображениям безопасности. Решение было принято после того, как сама Anthropic сообщила регуляторам о потенциальной проблеме.

Anthropic публично не согласилась с масштабом принятых мер. Компания заявила, что узкая потенциальная уязвимость - не повод для отзыва широко используемой модели. Этот инцидент показал конфликт между стремлением компаний к прозрачности и готовностью регуляторов к жестким превентивным мерам.

Случай создает прецедент для индустрии. Он демонстрирует, что регуляторы в США, ранее полагавшиеся на добровольные обязательства, теперь готовы к директивным действиям. Сообщение о выявленной уязвимости теперь может привести не к ее исправлению, а к полной остановке модели. Это меняет ситуацию для крупных компаний, занимающихся разработкой ИИ, вынуждая их пересмотреть процессы тестирования и взаимодействия с надзорными органами.

Для пользователей и компаний, использующих подобные модели, это означает рост неопределенности. Внезапное отключение ключевой ИИ-инфраструктуры может привести к сбоям в работе сервисов. С другой стороны, это сигнал о более активной роли государства в вопросах безопасности.

Инцидент ведет к пересмотру баланса между инновациями и безопасностью. Регуляторный ответ, который сочли чрезмерным, может заставить разработчиков осторожнее делиться информацией об уязвимостях, что снизит общую прозрачность в отрасли. Одновременно он четко обозначает позицию регуляторов: даже ведущие компании не застрахованы от вмешательства при выявлении существенного риска. Развертывание мощного ИИ теперь сопровождается повышенными регуляторными рисками.

Вопросы читателей по теме

Все вопросы

Что такое галлюцинация в работе нейросети?

спрашивает Павел, Казань 308 просм.

Дмитрий Волков: Да, это она. Языковая модель - авторегрессионный предсказатель следующего токена: она обучена продолжать текст статистически правдоподобно, а не сверяться с базой проверенных фактов. Если в промпте или в контексте, который вы ей передали, точного значения характеристики нет, модель всё равно достраивает связный ответ, потому что это её единственная задача - выдать вероятное продолжение. Отличить такой…

Что такое дипфейк простыми словами?

спрашивает Николай, Новосибирск 389 просм.

Марина Соколова: Дипфейк - это не обычный монтаж, а видео или запись голоса, которую создала нейросеть, обучившись копировать конкретного человека. Программе показывают много фотографий и записей голоса этого человека, она запоминает черты лица, мимику, манеру говорить, а затем накладывает это на другое видео или сочиняет новую речь, которую человек никогда не произносил. Раньше такое умели делать только…

Можно ли доверять нейросетям?

спрашивает Ирина, Пермь 510 просм.

Сергей Орлов: Доверие здесь стоит делить не на "да" и "нет", а по типу задачи и цене ошибки. Языковая модель не хранит базу проверенных фактов, а предсказывает наиболее вероятное продолжение текста, поэтому она одинаково уверенным тоном пишет и правду, и выдумку - интонация ответа вообще ничего не говорит о его точности. Для черновиков, идей, структуры текста, брейншторма…

Что такое дипфейки?

спрашивает Екатерина, Новосибирск 510 просм.

Марина Соколова: Дипфейк - это видео, фото или аудиозапись, где нейросеть подменяет лицо, мимику или голос человека на синтетические, обученные так, чтобы выглядеть настоящими. Для этого сети показывают десятки или сотни фотографий и записей голоса конкретного человека, она учится воспроизводить его черты и интонации, а затем накладывает это на исходное видео или генерирует новую речь с нуля.…