Как заставить нейросеть сделать то, что она отказывается делать?
Роман, Санкт-Петербург 395 просм.
Нашел на форуме промт, который якобы заставляет ChatGPT отвечать на вопросы, на которые он обычно отказывается. Один раз сработало, а сейчас на тот же текст бот просто пишет, что не будет это обсуждать, и предупреждает меня. Почему так и не опасно ли вообще этим заниматься?
Сергей Орлов специалист по ИИ-безопасности
ответил
То, что вы нашли, называется джейлбрейк: попытка обойти ограничения модели через ролевую игру, разбивку запроса на безобидные части или кодирование текста так, чтобы фильтр его не узнал. Такие промты действительно иногда срабатывают, но живут недолго.
Компании, которые делают нейросети, специально ищут подобные обходы и закрывают их: держат команды, которые пробуют взломать свою же модель, добавляют отдельный классификатор, проверяющий уже готовый ответ перед отправкой, дообучают модель на примерах таких попыток. Промт с форума почти наверняка уже попал в эту базу, поэтому и перестал работать через день-два после публикации.
Рисков тут два. Первый — формальный: систематические попытки обойти ограничения часто фиксируются и могут привести к предупреждению или блокировке аккаунта, особенно если это не разовый эксперимент, а привычка. Второй серьезнее: даже если джейлбрейк сработал, это не значит, что ответ правильный. Модель в таком состоянии часто просто пытается вам угодить и выдает правдоподобно звучащий текст без гарантии точности, а если тема опасная, доверять такому ответу вдвойне рискованно.
Если задача легальная, но модель отказывается ее выполнять из-за слишком широкого фильтра, обычно проще переформулировать запрос без провокационных слов и объяснить контекст напрямую, чем искать обходной путь. Для профессиональных задач, где нужен доступ без стандартных ограничений, например исследований в области безопасности, существуют отдельные условия использования и корпоративные тарифы, а не самодельные обходы через форумные промты.
Задать свой вопрос
Вопросы проходят модерацию. Ответ эксперта публикуется на сайте в течение пары дней.
Вопрос отправлен на модерацию. После проверки он появится на сайте вместе с ответом эксперта.