Тернарный KAN: дискретные веса {-1, 0, +1} как путь к сверхкомпактным нейросетям
Эксперименты по замене непрерывных весов в сетях КАН на дискретные тернарные значения показали, что радикальное сжатие до ~1.58 бита на параметр не разрушает работоспособность модели, открывая новые возможности для создания эффективных и интерпретируемых архитектур.
В машинном обучении долгое время доминировали многослойные перцептроны (MLP). Однако в 2024 году появилась альтернативная архитектура — сети KAN (Kolmogorov-Arnold Networks). Их ключевое отличие в замене линейных весов на обучаемые нелинейные функции, что потенциально может снизить количество параметров при сохранении точности и улучшить интерпретируемость модели.
Один из радикальных подходов к миниатюризации таких сетей — замена непрерывных весов на дискретные тернарные значения: -1, 0 и +1. Согласно данным, это позволяет сжать представление одного параметра примерно до 1.58 бита. Этот показатель находится ниже условной психологической границы в 3-4 бита, за которой в традиционных подходах обычно ожидается катастрофическое падение точности модели.
Сама идея квантования весов не нова. Уже существуют или разрабатываются такие варианты, как QuantKAN, использующий 4-битное представление, и KANtize, работающий с 2-битными или 3-битными B-сплайн таблицами. Однако переход именно к тернарным значениям представляет собой качественно иной уровень сжатия. Исторически квантование ниже 4 бит в нейронных сетях часто приводит к резкой потере качества. Тернарные веса оставляют параметру всего три возможных состояния. Тем не менее, практические эксперименты показали неожиданный результат: такая замена не «сломала» модель, и KAN с дискретными весами остался работоспособным.
Этот результат становится более понятным в контексте особенностей архитектуры KAN. В отличие от MLP, которые опираются на линейные комбинации, KAN используют обучаемые нелинейные функции на ребрах графа сети. Этот иной математический фундамент, возможно, повышает устойчивость архитектуры к агрессивному квантованию. Ранее были созданы две нейросети на основе KAN размером всего по 15 КБ каждая, что продемонстрировало потенциал архитектуры для создания компактных моделей. Эксперимент с тернарными весами является логичным продолжением этого поиска пределов сжатия.
Для индустрии искусственного интеллекта успех подобных экспериментов может открыть несколько важных направлений. Во-первых, это создание сверхкомпактных моделей для устройств с крайне ограниченными вычислительными ресурсами и памятью, вплоть до микроконтроллеров. Во-вторых, дискретизация до столь малого числа состояний значительно упрощает аппаратную реализацию. Уже существует проект аппаратного акселератора BiKA, а тернарные веса идеально подходят для создания энергоэффективных схем. В-третьих, такой подход может усилить интерпретируемость моделей KAN, поскольку дискретные веса делают вклад каждого параметра более понятным и явным.
Это исследование ставит под вопрос устоявшиеся представления о необходимой точности числовых представлений в нейронных сетях. Оно показывает, что для альтернативных архитектур развитие может идти не через увеличение разрядности вычислений, а через радикальное упрощение и дискретизацию. Это меняет баланс между точностью модели, ее размером и энергопотреблением. Если данное направление окажется плодотворным, оно может привести к появлению волны сверхлегких, но при этом эффективных моделей, способных работать в условиях, где применение больших нейросетей было невозможно.
