Что такое агент в контексте ИИ?

Отличие реальное, хотя термином действительно злоупотребляют в рекламе. Обычный чат-бот работает в режиме одного хода: вы задаёте вопрос, он ищет ответ в своей базе знаний или генерирует его на основе промпта и отдаёт вам текст. Дальше он ждёт следующей вашей реплики, самостоятельно ничего не делает и не решает, что делать дальше.

Агент получает не вопрос, а цель, и дальше сам планирует последовательность шагов для её достижения: может вызывать внешние инструменты и API, проверять промежуточный результат и на основании этого решать, что делать на следующем шаге, без того чтобы человек командовал каждым действием отдельно. Разница видна на примере: чат-бот на вопрос «как оформить возврат» просто перескажет вам инструкцию из базы знаний. Агент вместо этого найдёт ваш заказ в системе, сам запустит процедуру возврата, отправит подтверждение на почту и, если что-то пошло не так на одном из шагов, попробует другой путь или сообщит, что нужен человек.

На практике агентами часто называют обвязку вокруг обычной модели, которая просто вызывает пару готовых функций по жёсткому сценарию, это ближе к чат-боту с расширенными возможностями, чем к настоящему планированию. Реальный признак агента — способность самому решать, какой инструмент вызвать следующим, а не заранее прописанная разработчиком цепочка действий.