бенчмарк

LLM

Автоматический бенчмарк продаж на русском провалился: чемпионская модель оказалась артефактом

Пользовательский тест для оценки умения LLM продавать на русском языке выявил неожиданного лидера, но дальнейшая проверка показала, что высокие баллы - результат…

Новости ИИ

Кризис воспроизводимости: исследование ставит под сомнение объективность бенчмарков компьютерной томографии

Попытка воспроизвести результаты открытого бенчмарка ICASSP-2024 по низкодозовой компьютерной томографии выявила системную проблему: измеряемое качество алгоритмов частично определяется не их реальной эффективностью,…