Google DeepMind проводит первое двойное слепое тестирование ИИ для создания надежных бенчмарков

Google DeepMind и Сингапурский институт безопасности ИИ (AISIS) запустили пилотный проект по двойному слепому тестированию ИИ. Суть метода в том, что разработчик не видит конкретных вопросов теста, а оценщики не имеют доступа к параметрам модели. Это исключает подгонку модели под тесты и манипуляции с условиями оценки. Для защиты данных используется криптографическая система Confidential Space.

Проблема назрела давно. Компаний часто критикуют за неполную прозрачность тестов или оптимизацию моделей под известные публичные бенчмарки. Это ставит под сомнение результаты и мешает объективному сравнению технологий. Например, в 2026 году ожидается появление более 10 тысяч новых моделей ИИ, что делает вопрос надежной оценки особенно острым.

Успех пилота может задать новый стандарт для оценки ИИ, особенно для мощных пограничных моделей. Надежные стандарты тестирования важны для регуляторов, инвесторов и общества, создавая основу для ответственного развития ИИ. Для разработчиков это означает переход к более честной конкуренции, где преимущество будут иметь действительно передовые технологии, а не умелая оптимизация под тесты. Пользователи смогут больше доверять заявлениям компаний о возможностях их продуктов.

Если подход окажется эффективным, другие лаборатории и регуляторы могут перенять эту практику. Двойное слепое тестирование с криптографической защитой данных способно стать новым отраслевым стандартом. Это особенно актуально в контексте того, что, по некоторым оценкам, только 07 процентов моделей проходят полный цикл аудита, а число исследовательских работ по ИИ за последние годы выросло с 1376 до более чем 768, что усложняет задачу объективного сравнения.