Исследователь Anthropic ушел из-за страха перед самоулучшающимся ИИ и призвал к сдерживанию гонки
Джейкоб Коксон, ученый из лаборатории Anthropic, покинул компанию, заявив, что текущая траектория развития самоулучшающегося ИИ представляет экзистенциальную угрозу, и призвал ведущие компании к соглашениям о контролируемом темпе исследований.
Уход исследователя из Anthropic поднял вопросы безопасности ИИ
Исследователь компании Anthropic Джейкоб Коксон покинул лабораторию, открыто заявив о своих опасениях за будущее человечества. По данным TechCrunch AI, он считает, что текущая разработка самоулучшающихся систем ИИ создает неприемлемый экзистенциальный риск. Коксон сравнил происходящее с игрой нашими жизнями. Его уход стал сознательным актом протеста против гонки за создание мощных автономных систем.
Опасения Коксона сосредоточены на самоулучшающемся ИИ - системах, способных рекурсивно улучшать собственный код и цели без человеческого контроля. Исследователь предупреждает: если такие системы создать без надежных механизмов безопасности, они могут выйти из-под контроля. Уход из Anthropic, позиционирующей себя как лидера в безопасности ИИ, показателен. Это указывает на серьезные внутренние разногласия даже в таких организациях.
В ответ Джейкоб Коксон выдвинул конкретное предложение. Он призвал ведущие лаборатории ИИ заключить формальные соглашения о сдерживании темпов. Суть - в добровольном ограничении скорости разработки наиболее рискованных направлений, особенно связанных с рекурсивным самоулучшением. Идея в том, чтобы заменить конкурентную гонку скоординированным подходом, где безопасность систем будет тщательно проверяться до перехода к следующему этапу мощности. Это попытка предотвратить сценарий, в котором соперничество заставит компании пропускать этапы тестирования.
Событие имеет прямое значение для отрасли. Оно обнажает раскол между ускорителями, стремящимися к быстрому прогрессу, и сторонниками осторожного подхода, к которым теперь относят Коксона. Публичный уход специалиста усиливает дискурс вокруг регулирования ИИ, давая сторонникам жестких мер весомый аргумент. Для предпринимателей это сигнал: вопросы долгосрочной безопасности могут превратиться из философских дебатов в операционные риски, включая потенциальные запреты или строгие лицензионные требования.
Случай с Джейкобом Коксоном ведет к вопросу о саморегулировании отрасли. Призыв к соглашениям проверяет, способны ли частные компании на коллективные действия в условиях острой конкуренции. Если соглашения не будут достигнуты, давление со стороны общества и государств на внешнее регулирование усилится. Для разработчиков это напоминание: техническая сложность создания сверхразума сопоставима с проблемой обеспечения его управляемости. Уход ключевого сотрудника из ведущей лаборатории - это не просто кадровое изменение, а симптом глубоких противоречий в подходе к развитию технологий, которые могут определить траекторию всей отрасли.
