LLM-судья для hh.ru: почему оценка ИИ-моделей оказалась сложнее, чем кажется
Опыт hh.ru по созданию системы автоматической оценки качества нейроразбора резюме показал, что построение надежного LLM-судьи - это самостоятельная и ресурсоемкая инженерная задача, а не быстрый хак.
Разработчики hh.ru создавали ИИ-помощник для работы с резюме. Ключевая задача - оценка качества нейроразбора, который извлекает данные из текста. Идея использовать для этого другую большую языковую модель (LLM) в роли судьи казалась простой. Но на практике стало ясно: создать такого судью легко, а вот заставить его оценки быть надежными - сложно. Этот процесс превратился в разработку отдельного продукта.
Проблема простого подхода, когда LLM просто просят "оценить качество", - в субъективности и дороговизне. Модель-судья может выдавать противоречивые вердикты, а каждый запрос стоит денег. Команда hh.ru отказалась от общей оценки в пользу конкретных измеримых аспектов. Например, полнота извлечения сущностей и их корректность. Для каждой рубрики пришлось создавать специализированные промпты и эталонные датасеты, чтобы калибровать судью.
Ключевой инженерной задачей стала воспроизводимость оценок. LLM-судья не должен быть черным ящиком. Разработчики внедрили регулярную валидацию его вердиктов на эталонных данных, чтобы отслеживать дрейф модели. Также потребовалась инфраструктура для массовых оценочных экспериментов и анализа. Это позволило не только оценивать основную модель нейроразбора, но и проводить A/B-тестирование разных промптов и самих моделей-судей, выбирая эффективные конфигурации. Оценка превратилась из разовой операции в непрерывный процесс.
Этот опыт важен для всей отрасли разработки LLM-приложений. Он показывает распространенную ошибку - недооценку ресурсов на создание надежного инструмента оценки. Многие думают, что можно быстро отправить выводы своей модели в GPT и получить метрику качества. На деле без продуманной системы валидации такие оценки ненадежны и могут привести к ложным выводам. Для пользователей это означает, что за простым интерфейсом стоит сложная работа по обеспечению точности алгоритмов.
Отрасль движется к стандартизации практик MLOps для LLM, где оценка и мониторинг моделей становятся неотъемлемой частью цикла разработки. Успешные проекты будут вынуждены инвестировать в создание собственных оценочных фреймворков, эталонных датасетов и автоматизированных пайплайнов валидации. Это повышает порог входа для создания качественных коммерческих LLM-решений.
