OpenAI запускает Lockdown Mode для ChatGPT: защита от утечек или полумера?
Компания OpenAI представила для ChatGPT новый режим Lockdown Mode, который отключает веб-доступ и расширенные функции, чтобы усложнить кражу данных через prompt injection-атаки.
OpenAI добавила в ChatGPT новый режим безопасности - Lockdown Mode. Он призван затруднить кражу данных через prompt injection-атаки. Режим позволяет администраторам и пользователям отключать функции, которые чаще всего используются для утечки информации: веб-поиск, Deep Research и Agent Mode. The Decoder отмечает, что это не решение фундаментальной проблемы, а барьер, блокирующий ее финальный этап.
Суть prompt injection-атак в том, что злоумышленник может внедрить в промпт инструкции, заставляющие ИИ выполнять несанкционированные действия, например, передавать конфиденциальные данные через веб-запросы. Lockdown Mode ограничивает эту возможность, физически отключая каналы вывода данных. Однако сама уязвимость моделей к манипуляциям через промпты остается - модель можно обмануть, но ее возможности по передаче информации вовне будут ограничены.
Запуск Lockdown Mode - важный сигнал для отрасли. OpenAI официально признает серьезность угрозы prompt injection и предлагает первый инструмент для ее сдерживания на уровне продукта. Это особенно актуально для компаний, использующих ChatGPT через API для обработки внутренних документов или данных. Режим позволяет создать более контролируемую среду, но эксперты называют это паллиативом, а не лечением. Безопасность по-прежнему ложится на разработчиков, которые должны валидировать входные данные и изолировать модели от критических систем.
Появление Lockdown Mode указывает на переход к этапу, где безопасность становится ключевым параметром продукта. Ожидается, что другие поставщики моделей предложат аналогичные режимы для корпоративного сегмента. Это также подстегивает исследования в области создания моделей, устойчивых к prompt injection. Для бизнес-пользователей такие инструменты - возможность безопаснее экспериментировать с интеграцией ИИ, но и напоминание о необходимости комплексного подхода. Проблема prompt injection остается одной из главных в области безопасности ИИ, и ее решение потребует усилий исследователей и разработчиков.
