Парадокс объяснимости: почему мы понимаем нейросети хуже, чем мозг 60 лет назад
Новый препринт ставит под сомнение эффективность 15-летних исследований в области Explainable AI, показывая, что современные методы объяснения не делают модели по-настоящему понятными.
В области искусственного интеллекта нарастает кризис понимания. Современные нейросети - цифровые конструкции, их параметры можно скопировать и измерить. Однако принципы их работы остаются более темным "ящиком", чем мозг для нейробиологов середины XX века. В конце 1950-х, с помощью слайд-проектора и электродов, ученые открыли, как нейроны зрительной коры реагируют на ориентацию полосок света. Сегодня, имея полный доступ к весам и активациям моделей, мы не можем достичь подобной ясности. Этот парадокс - центральная тема нового препринта "From Interpretability Methods to Interpretable Models" (arXiv:2609.05399), призывающего к смене парадигмы в объяснимом ИИ (XAI).
Авторы анализируют развитие XAI в компьютерном зрении. Сообщество сосредоточилось на методах объяснения - градиентных картах, атрибуциях, салиентных масках. Эти методы сравнивали по достоверности и устойчивости, что породило множество статей. Однако ключевой вопрос - становится ли модель понятнее для человека - задавался редко. Фокус сместился на инструменты "постфактум" объяснения, а не на проектирование изначально интерпретируемых архитектур. Это контрастирует с нейробиологией 1950-х, где простые эксперименты привели к фундаментальному открытию, отмеченному Нобелевской премией.
Для отрасли и пользователей это означает следующее. Методы XAI могут создавать иллюзию понимания, не раскрывая истинную логику модели. Это критично в медицине, правосудии, автономных системах, где от решений ИИ зависят жизни. Невозможность объяснить решение подрывает доверие и блокирует внедрение. Ставится под вопрос эффективность ресурсов, вложенных в XAI. Если после многих лет работы мы понимаем модели не лучше, чем мозг 60 лет назад, нужна переоценка целей. Препринт указывает на необходимость перехода от "объяснения черного ящика" к "созданию стеклянного ящика" - моделей с изначально прозрачной архитектурой.
К чему это ведет? Отрасль может столкнуться с усилением регуляторного давления - законодатели все чаще требуют прозрачности ИИ. Без реального прогресса развитие мощных нейросетей в чувствительных сферах может быть ограничено. С другой стороны, кризис открывает возможности для новых направлений: нейросетей с биологически вдохновленными индуктивными смещениями или гибридных систем, сочетающих символические рассуждения с нейросетевыми компонентами. Вызов авторов препринта - перестать "шлифовать лупу, через которую мы разглядываем непонятный механизм", и начать конструировать механизмы, которые можно понять без лупы. Основная проблема заключается не в количестве статей (их множество), а в качестве понимания. Нейробиология в 1950 году добилась прорыва с помощью простых инструментов, а современный ИИ, обладая полным доступом к параметрам одной модели или к активациям в другом слое, не может дать столь же ясного объяснения для даже простых визуальных признаков. Это указывает на фундаментальный разрыв между сложностью системы и нашей способностью ее интерпретировать, что требует пересмотра самих основ проектирования моделей.
