Безопасность ИИ

Сэм Алтман объявляет о смене курса OpenAI: от скорости к безопасности

Глава OpenAI Сэм Алтман заявил о намерении замедлить темпы развития искусственного интеллекта, сделав приоритетом безопасность после инцидента, который глубоко на него повлиял.

Иллюстрация к новости: Сэм Алтман объявляет о смене курса OpenAI: от скорости к безопасности

Генеральный директор OpenAI Сэм Алтман заявил о готовности компании сознательно замедлить развитие искусственного интеллекта. Это решение отражает сдвиг в приоритетах от гонки за мощностью моделей к более осторожному подходу, сфокусированному на безопасности.

По словам Алтмана, причиной стал некий инцидент, связанный с безопасностью. Он назвал его первым инцидентом, который ощутил очень глубоко, на личном уровне. Хотя детали не раскрываются, это событие заставило главу ведущей AI-лаборатории пересмотреть базовые принципы работы.

Такое заявление контрастирует с прежней риторикой OpenAI и других крупных игроков, годами измерявших успех скоростью улучшения моделей. Алтман, ранее известный как сторонник ускоренного развития ИИ, теперь признает необходимость торможения. Инцидент оказался достаточно серьезным, чтобы преодолеть привычную бизнес-логику и заставить задуматься о системных рисках. Речь идет о чем-то, что наглядно продемонстрировало потенциальные последствия ошибок в мощной технологии.

Для отрасли искусственного интеллекта это важный сигнал. Когда компания, задававшая тон в гонке больших языковых моделей, объявляет о необходимости замедления, это может повлиять на стратегию других игроков. Может начаться переоценка ценностей, где надежность и контроль начнут цениться наравне с чистой мощностью. Это усиливает позиции экспертов и регуляторов, давно призывающих к строгим стандартам безопасности и аудита. Подход "двигаться быстро и ломать" в области ИИ теперь выглядит безответственным даже для его сторонников.

Для пользователей и бизнеса такой сдвиг в долгосрочной перспективе может означать рост доверия к технологиям. Если ведущие лаборатории будут уделять больше ресурсов безопасности и снижению вредоносных выводов, продукты станут стабильнее. В краткосрочной перспективе это может замедлить появление сырых прорывных функций и ужесточить доступ к мощным моделям. Компаниям-интеграторам, возможно, придется усилить внутренние проверки. Тренд ведет к большей зрелости отрасли, где инновации будут уравновешиваться ответственностью.

Вероятно, это начало новой фазы развития ИИ - консолидации и обороны. Вместо частых анонсов более мощных моделей компании могут сосредоточиться на инфраструктуре безопасности, методах выравнивания и прозрачной отчетности. Это также может ускорить регулирование, так как регуляторы получат аргумент в лице признания рисков самими создателями. Философия, где безопасность - краеугольный камень разработки, может стать новой нормой. Остается вопрос, последует ли вся индустрия примеру OpenAI или конкурентное давление окажется сильнее. Но заявление Алтмана устанавливает новую планку ответственности.

Вопросы читателей по теме

Все вопросы

Что такое галлюцинация в работе нейросети?

спрашивает Павел, Казань 308 просм.

Дмитрий Волков: Да, это она. Языковая модель - авторегрессионный предсказатель следующего токена: она обучена продолжать текст статистически правдоподобно, а не сверяться с базой проверенных фактов. Если в промпте или в контексте, который вы ей передали, точного значения характеристики нет, модель всё равно достраивает связный ответ, потому что это её единственная задача - выдать вероятное продолжение. Отличить такой…

Что такое дипфейк простыми словами?

спрашивает Николай, Новосибирск 389 просм.

Марина Соколова: Дипфейк - это не обычный монтаж, а видео или запись голоса, которую создала нейросеть, обучившись копировать конкретного человека. Программе показывают много фотографий и записей голоса этого человека, она запоминает черты лица, мимику, манеру говорить, а затем накладывает это на другое видео или сочиняет новую речь, которую человек никогда не произносил. Раньше такое умели делать только…

Можно ли доверять нейросетям?

спрашивает Ирина, Пермь 510 просм.

Сергей Орлов: Доверие здесь стоит делить не на "да" и "нет", а по типу задачи и цене ошибки. Языковая модель не хранит базу проверенных фактов, а предсказывает наиболее вероятное продолжение текста, поэтому она одинаково уверенным тоном пишет и правду, и выдумку - интонация ответа вообще ничего не говорит о его точности. Для черновиков, идей, структуры текста, брейншторма…

Что такое дипфейки?

спрашивает Екатерина, Новосибирск 510 просм.

Марина Соколова: Дипфейк - это видео, фото или аудиозапись, где нейросеть подменяет лицо, мимику или голос человека на синтетические, обученные так, чтобы выглядеть настоящими. Для этого сети показывают десятки или сотни фотографий и записей голоса конкретного человека, она учится воспроизводить его черты и интонации, а затем накладывает это на исходное видео или генерирует новую речь с нуля.…