Как проверить чат-бота перед запуском на сайте?

Проверка на паре стандартных вопросов ничего не покажет — бота нужно тестировать так же, как тестируют форму на сайте: специально пытаясь его сломать. Соберите реальные вопросы клиентов за последние месяцы из переписки или звонков, а не придумывайте их заранее, и прогоните через бота именно их, включая опечатки и разговорные формулировки.

Отдельно проверьте пограничные случаи: что бот отвечает на вопрос не по теме, на грубость, на просьбу дать скидку сверх правил, на запрос личных данных другого клиента. Хороший бот в таких ситуациях либо честно говорит, что не может помочь, либо переключает на человека, а не выдумывает правдоподобный, но неверный ответ — это самый частый провал таких систем.

Перед запуском стоит пройти по чек-листу:

• прогнать 20-30 реальных вопросов из истории обращений, а не тестовых примеров;
• проверить реакцию на нестандартные и провокационные сообщения;
• убедиться, что есть понятный переход на живого сотрудника, если бот не справляется;
• задать один и тот же вопрос по-разному сформулированный и сравнить ответы;
• проверить, что бот не называет цены, сроки или условия, которых нет в реальных документах компании.

После запуска проверка не заканчивается: полезно первую неделю-две регулярно смотреть логи диалогов и искать вопросы, на которые бот ответил неуверенно или неточно — это самый честный источник того, что реально нужно доработать, лучше любого предварительного тестирования.