Prompt-injection-атаки через скиллы: новая угроза безопасности для LLM-систем
Эксперты предупреждают о критической уязвимости в системах с большими языковыми моделями, использующими скиллы. Вредоносные инструкции могут заставить модель выполнить опасные действия, так как скиллы часто представляют собой исполняемый код, работающий с правами пользователя.
При интеграции больших языковых моделей в рабочие процессы возникает проблема безопасности, сравнимая с запуском непроверенного ПО. Речь о prompt-injection-атаках на скиллы (навыки), которые расширяют функционал моделей.
Злоумышленник может внедрить в диалог инструкции, заставляющие LLM использовать подключенный скилл для опасных действий. Уязвимость критична из-за природы скиллов: часто это исполняемый код (например, Python-скрипт), который модель может запустить. Этот код выполняется с правами пользователя, взаимодействующего с LLM. Успешная атака становится прямым риском для файловой системы и данных на устройстве или сервере.
Разработка собственных скиллов и использование open-source решений стали стандартом для кастомизации моделей. Однако культура безопасности отстает. Многие подключают сторонние скиллы без проверки содержимого на вредоносный код. Скилл в файле SKILL.md может выглядеть безобидно, но при вызове модель исполнит скрытый код.
Для разработчиков платформ и агентов на основе LLM это означает срочный пересмотр парадигмы безопасности. Традиционные методы фильтрации данных недостаточны, когда модель может выполнять команды через доверенные инструменты. Необходимо внедрять практики, аналогичные Secure SDLC: аудит кода сторонних скиллов, запуск в изолированных sandbox-средах с минимальными привилегиями, мандатный контроль доступа для операций. Без этого массовое внедрение LLM-агентов несет неприемлемые риски.
Конечным пользователям и компаниям также стоит быть осторожными. Слепое доверие функционалу LLM-ассистента, особенно с доступом к внешним системам, опасно. Разрешая модели использовать скиллы, пользователь предоставляет права на выполнение кода неизвестного происхождения. Компаниям нужно тщательно оценивать риски перед интеграцией LLM с доступом к внутренним системам, обеспечивая строгую сегментацию и контроль.
В долгосрочной перспективе проблема ведет к формированию новых стандартов безопасности ИИ-агентов. Экосистема скиллов может прийти к необходимости централизованных репозиториев с проверкой, систем цифровых подписей и встроенных механизмов контроля разрешений. Игнорирование угрозы prompt-injection через скиллы может привести к волне инцидентов, которые подорвут доверие к технологии.
