Как проверить искусственный интеллект?

Демонстрация на сайте разработчика почти всегда снята на удобных примерах, поэтому по ней ничего не решается. Проверка начинается с того, что вы собираете 50-100 реальных обращений из своей практики за последние месяцы с уже известными правильными ответами и прогоняете их через сервис.

Дальше считаете долю совпадений с эталоном не на глаз, а числом: если из 100 заявок модель правильно обработала 78, это и есть её реальная точность на ваших данных, а не на чужих бенчмарках из презентации.

Отдельно стоит проверить три вещи:

• Устойчивость: задайте один и тот же вопрос в пяти разных формулировках подряд. Если ответы противоречат друг другу, модель нестабильна и в проде будет путать клиентов.
• Поведение на краевых случаях: нетипичные запросы, опечатки, вопросы не по теме. Именно здесь чаще всего вылезают выдуманные ответы.
• Признание незнания: спросите что-то, чего сервис точно не может знать про вашу компанию. Хороший результат — модель честно скажет, что не располагает данными, а не сочинит правдоподобный ответ.

После проверки на исторических данных запускайте пилот на 2-4 недели с небольшой долей реальных обращений, где рядом ещё работает человек и сверяет ответы. Только после этого периода с приемлемой долей ошибок расширяйте применение на весь поток. Экономить на этом этапе не стоит: цена ошибки при полном внедрении без пилота обычно в разы выше сэкономленного времени.