Автоматизация

Что такое рефлексия применительно к ИИ-агенту?

Артем, Уфа 494 просм.

В статье про ИИ-агентов встретил термин рефлексия - якобы агент как-то сам себя проверяет перед тем, как выдать ответ. Звучит как маркетинг. Что это на самом деле и правда ли это помогает получать более качественный результат?

Марина Соколова аналитик по внедрению ИИ

ответил

эксперт

Рефлексия — это не маркетинговый термин, а рабочая техника построения агентов: вместо того чтобы сразу выдать первый сгенерированный ответ, агент прогоняет его через дополнительный шаг самопроверки перед тем, как показать результат вам.

Устроено это просто. Сначала модель генерирует черновой ответ или решение задачи. Затем та же модель — или отдельный ее вызов с другой инструкцией — смотрит на этот черновик со стороны критика: не пропущен ли шаг в рассуждении, нет ли противоречия, соответствует ли ответ исходному вопросу. Если критик находит проблему, агент переписывает ответ с учетом замечаний, и так может повториться несколько раз.

На практике это заметно улучшает качество на задачах, где важна многошаговая логика: написание и отладка кода, решение математических задач, планирование последовательности действий. Агент как бы сам себе задает вопрос, точно ли это верно, вместо того чтобы остановиться на первом же правдоподобном варианте.

Есть и обратная сторона. Рефлексия увеличивает время ответа и стоимость запроса — агент фактически обращается к модели несколько раз вместо одного. И она не панацея от галлюцинаций: если модель ошибочно уверена в неверном факте, она с той же уверенностью подтвердит его и на этапе самопроверки. Для простых вопросов без многошаговой логики рефлексия обычно ничего не добавляет, кроме задержки.

Задать свой вопрос

Вопросы проходят модерацию. Ответ эксперта публикуется на сайте в течение пары дней.

Похожие вопросы

Все в теме