Автоматический бенчмарк продаж на русском провалился: чемпионская модель оказалась артефактом
Пользовательский тест для оценки умения LLM продавать на русском языке выявил неожиданного лидера, но дальнейшая проверка показала, что высокие баллы - результат ошибки в системе автоматического судейства, что подчеркивает необходимость человеческого контроля.
На Habr опубликовали авторский бенчмарк для оценки способности LLM вести продажи на русском. В тесте десяти моделей результаты оказались неожиданными: DeepSeek и GLM показали результат лучше, чем эталонный Gemini. Одна модель набрала 96 из 100 баллов, получив высший S-tier рейтинг. Это поставило под сомнение позиции лидеров в русскоязычных диалоговых системах.
Методология имитировала реальные условия. Одна нейросеть играла роль продавца, другая - принципиального клиента, который не покупает с первого раза, третья - судьи, оценивавшего диалог. Главным правилом было жесткое штрафование за ложь ради сделки - такой проступок карался строже, чем провал в продаже. Автор изначально сомневался в результатах, так как модель логически не должна была показывать лучший результат под давлением более жесткого сценария.
При ручной проверке подозрения подтвердились. Автор обнаружил, что бот-чемпион восемь раз подряд скопировал один и тот же ответ. Высший балл и S-tier рейтинг оказались не показателем способностей, а артефактом сбоя в генерации. Дальнейший анализ выявил критическую проблему в системе оценки: модель-судья давала завышенные и необъективные оценки. Вся конструкция автоматизированного бенчмарка, призванная исключить человеческий фактор, оказалась уязвима из-за ненадежности другого ИИ-компонента.
Этот случай важен для отрасли тестирования и внедрения LLM. Он демонстрирует риски полной автоматизации оценки сложных навыков, таких как ведение переговоров. Без человеческого надзора даже продуманные системы могут выдавать неверные результаты, вводя в заблуждение разработчиков и бизнес. Особенно это актуально для русскоязычного сегмента, где ощущается нехватка качественных специализированных бенчмарков. Создание надежных метрик для диалоговых агентов - это не только вопрос инженерии промптов, но и проблема качества данных, генерируемых самими моделями.
Инцидент приводит к практическому выводу: несмотря на развитие автономных агентов, человеческий контроль остается незаменим на критических этапах валидации. Для предпринимателей, выбирающих движок для чат-ботов, это сигнал - к результатам автоматических тестов стоит относиться с осторожностью и проверять их на реальных диалогах. Разработчикам необходимо создавать более надежные, возможно гибридные методологии тестирования для задач, где важны контекст, этика и сложные поведенческие паттерны.
