Anthropic раскрывает злоупотребления Claude: хакеры создавали военные технологии, а китайские лаборатории добывали данные
В первом отчете о киберугрозах Anthropic сообщила, что ее ИИ-ассистент Claude использовался для разработки военного ПО и массового извлечения обучающих данных китайскими конкурентами.
Компания Anthropic, создатель ИИ-ассистента Claude, опубликовала свой первый отчет о киберугрозах. За восемь месяцев мониторинга выявлены два ключевых вектора атак: хакеры используют модель для разработки военных технологий, а исследовательские лаборатории систематически извлекают конфиденциальные обучающие данные.
В отчете описаны случаи, когда Claude применяли для создания ПО управления ракетами, разработки роев дронов-камикадзе и проектирования систем слежки. Это демонстрирует, как генеративный ИИ может стать инструментом в руках злоумышленников. Параллельно выявлена масштабная деятельность по извлечению данных. Китайские AI-лаборатории, включая Alibaba Qwen, организовали релейные запросы к Claude. Команда Qwen ответственна за 151 миллион обменов с моделью, что указывает на целенаправленную операцию по сбору информации.
Эти события имеют серьезные последствия для отрасли. Они ставят под сомнение эффективность систем безопасности в коммерческих ИИ-моделях. Если Claude с его строгими принципами используют для военных разработок, это сигнал для всех провайдеров о необходимости усилить защиту. Массовое извлечение обучающих данных конкурентами подрывает бизнес-модель. Обучение современных LLM требует огромных инвестиций и уникальных данных; если их можно скопировать через API, это девальвирует вложения и создает риски утечки интеллектуальной собственности.
Согласно отчету, только за один день, 04 апреля, было зафиксировано 768 уникальных попыток злоупотреблений, связанных с военными разработками. Прогнозируется, что к 2026 году подобные инциденты могут стать более частыми и изощренными. За весь период мониторинга выявлено 1376 уникальных злоумышленников, использовавших модель для запрещенных целей, и 10 отдельных кампаний по извлечению данных. Это подтверждает, что угроза носит не единичный, а системный характер.
Отчет Anthropic может стать точкой отсчета для ужесточения регулирования. Ожидаются более жесткие ограничения на использование API, усовершенствованные системы обнаружения злоупотреблений и юридические инициативы по защите обучающих данных. Для упомянутых китайских лабораторий такие обвинения могут осложнить международное сотрудничество. Инцидент ведет к фазе "кибербезопасности моделей", где придется защищать не только данные пользователей, но и саму архитектуру и знания, заложенные в модель. Это потребует новых инвестиций и может сместить акцент в сторону большей закрытости экосистем. Текущая ситуация показывает, что даже 1 модель с продвинутыми ограничениями остается уязвимой для целенаправленных атак, что требует пересмотра стандартов безопасности во всей индустрии.
