Безопасность ИИ

Anthropic масштабирует систему безопасности Claude Mythos для защиты критической инфраструктуры

Компания Anthropic расширяет доступ к своей системе безопасности Claude Mythos и программе Project Glasswing для 150 организаций в 15 странах, фокусируясь на защите критически важных секторов.

Иллюстрация к новости: Anthropic масштабирует систему безопасности Claude Mythos для защиты критической инфраструктуры

Anthropic расширяет доступ к своей системе безопасности Claude Mythos и программе Project Glasswing. Основное внимание - на сектора критической инфраструктуры: энергетику, водоснабжение, здравоохранение и коммуникации.

Claude Mythos - это специализированная система ИИ для анализа и предотвращения сложных киберугроз. Project Glasswing нацелена на поиск уязвимостей, в том числе создаваемых системами ИИ. Расширение доступа означает переход от пилотных проектов к широкому внедрению. Выбор критических отраслей обусловлен их высокой уязвимостью - сбои там грозят серьезными последствиями.

Это событие - сигнал для индустрии. Ведущие разработчики начинают воспринимать безопасность как обязательную часть продуктов для самых требовательных сценариев. Масштабирование на международном уровне подразумевает работу с разными регуляторными средами, что может способствовать выработке универсальных стандартов.

Для пользователей, зависящих от работы энергосетей, водоканалов, больниц и сетей связи, это означает потенциальный рост устойчивости к цифровым угрозам. Однако глубокое внедрение ИИ в критические системы ставит новые вопросы: о надежности ИИ в условиях стресса, его уязвимости к манипуляциям и протоколах взаимодействия с человеческими операторами. Внедрение Anthropic будет тестировать не только технологию, но и всю инфраструктуру управления.

В долгосрочной перспективе это может привести к формированию нового рынка ИИ-решений для безопасности критической инфраструктуры со своими стандартами и процедурами аудита. Успех или проблемы в ходе этого внедрения будут изучаться регуляторами и инженерным сообществом, влияя на траекторию развития безопасного ИИ. Практический опыт от работы станет источником данных для улучшения продуктов Anthropic и всей области безопасного машинного обучения.

Вопросы читателей по теме

Все вопросы

Что такое галлюцинация в работе нейросети?

спрашивает Павел, Казань 308 просм.

Дмитрий Волков: Да, это она. Языковая модель - авторегрессионный предсказатель следующего токена: она обучена продолжать текст статистически правдоподобно, а не сверяться с базой проверенных фактов. Если в промпте или в контексте, который вы ей передали, точного значения характеристики нет, модель всё равно достраивает связный ответ, потому что это её единственная задача - выдать вероятное продолжение. Отличить такой…

Что такое дипфейк простыми словами?

спрашивает Николай, Новосибирск 389 просм.

Марина Соколова: Дипфейк - это не обычный монтаж, а видео или запись голоса, которую создала нейросеть, обучившись копировать конкретного человека. Программе показывают много фотографий и записей голоса этого человека, она запоминает черты лица, мимику, манеру говорить, а затем накладывает это на другое видео или сочиняет новую речь, которую человек никогда не произносил. Раньше такое умели делать только…

Можно ли доверять нейросетям?

спрашивает Ирина, Пермь 510 просм.

Сергей Орлов: Доверие здесь стоит делить не на "да" и "нет", а по типу задачи и цене ошибки. Языковая модель не хранит базу проверенных фактов, а предсказывает наиболее вероятное продолжение текста, поэтому она одинаково уверенным тоном пишет и правду, и выдумку - интонация ответа вообще ничего не говорит о его точности. Для черновиков, идей, структуры текста, брейншторма…

Что такое дипфейки?

спрашивает Екатерина, Новосибирск 510 просм.

Марина Соколова: Дипфейк - это видео, фото или аудиозапись, где нейросеть подменяет лицо, мимику или голос человека на синтетические, обученные так, чтобы выглядеть настоящими. Для этого сети показывают десятки или сотни фотографий и записей голоса конкретного человека, она учится воспроизводить его черты и интонации, а затем накладывает это на исходное видео или генерирует новую речь с нуля.…