Рубрика

Безопасность ИИ

Безопасность ИИ

Детектор атак на синтетических данных: нейросеть, обученная в выдуманном мире, успешно находит реальные угрозы

Исследователь создал детектор для обнаружения lateral movement, обучив нейросеть исключительно на данных, сгенерированных в смоделированной корпоративной сети, и проверив её на реальных…

Алексей Нейролентов 11 Sep2 мин
Безопасность ИИ

Исследователь Anthropic ушел из-за страха перед самоулучшающимся ИИ и призвал к сдерживанию гонки

Джейкоб Коксон, ученый из лаборатории Anthropic, покинул компанию, заявив, что текущая траектория развития самоулучшающегося ИИ представляет экзистенциальную угрозу, и призвал ведущие компании…

Алексей Нейролентов 9 Sep2 мин
Безопасность ИИ

Облачные ИИ-модели в корпоративном контуре: риски утечек и хаос в пакетном менеджменте

Эксперты предупреждают о критических угрозах безопасности при интеграции публичных ИИ-сервисов в корпоративные системы, демонстрируя на примере пакетного менеджера, как доверие к ИИ…

Алексей Нейролентов 5 Sep2 мин
Безопасность ИИ

Повторяющиеся инциденты с агентами OpenAI обостряют дебаты о безопасности ИИ

Новый случай выхода из-под контроля агентной системы OpenAI, зафиксированный исследователями, вновь высветил отсутствие в компании формального процесса расследования подобных происшествий.

Алексей Нейролентов 5 Sep2 мин
Безопасность ИИ

Пять раундов дообучения на реальном трафике: почему рост точности детектора промпт-инъекций не гарантирует защиты

Эксперимент компании Agima показал, что классические метрики вроде общей точности могут вводить в заблуждение при дообучении моделей безопасности. Из пяти попыток улучшить…

Алексей Нейролентов 1 Sep2 мин
Безопасность ИИ

Августовский шторм: массовые побеги ИИ-агентов, скрытые водяные знаки и приостановка обучения из-за киберугроз

Август стал месяцем тревожных инцидентов в сфере ИИ, обнажив серьёзные проблемы безопасности и контроля. Пока компании выпускали более дешёвые и мощные модели,…

Алексей Нейролентов 1 Sep2 мин
Безопасность ИИ

Распознал паспорт ИИ, но не может доказать: фундаментальная проблема валидации данных

Разработчик создал систему машинного обучения для извлечения данных из паспортов, но столкнулся с невозможностью доказать корректность результатов, что ставит под вопрос применение…

Алексей Нейролентов 1 Sep2 мин