Colibri: движок для запуска гигантской GLM-5.2 на обычном ПК с 25 ГБ ОЗУ

Разработчик JustVugg представил движок Colibri, который позволяет запускать крупную языковую модель GLM-5.2 на компьютере с 25 ГБ оперативной памяти. Ранее для работы с такой моделью требовалось значительно больше ресурсов.

GLM-5.2 - это модель от китайской компании Z.ai. Она использует архитектуру Mixture of Experts (MoE). Ключевая идея Colibri в том, чтобы не загружать все параметры модели в память сразу. Вместо этого в ОЗУ постоянно находится только небольшая, но критически важная часть, а основная масса данных подгружается с диска по мере необходимости.

Технически модель разделена на две части. Плотная часть, включающая механизмы внимания и общие компоненты, насчитывает около 17 миллиардов параметров. Она постоянно находится в оперативной памяти в сжатом 4-битном формате и занимает 9,9 ГБ. Остальные параметры распределены среди большого количества экспертов, которые хранятся на быстром твердотельном накопителе. Для генерации каждого токена система активирует несколько экспертов в каждом из множества слоев. Без предварительно загруженного кэша на создание одного токена может потребоваться чтение примерно 11 ГБ данных с диска.

Такой подход делает возможным запуск модели на мощных потребительских компьютерах, оснащенных быстрым SSD. Это подтверждает практическую эффективность гибридных решений, комбинирующих оперативную память и дисковое хранилище, что особенно актуально для MoE-архитектур.

Главный компромисс - скорость работы. Без прогретого кэша генерация может происходить со скоростью всего 0,05 токена в секунду, что делает интерактивное использование практически невозможным. Даже после прогрева скорость остается ниже, чем у модели, полностью размещенной в ОЗУ. Кроме того, интенсивная подгрузка данных создает повышенную нагрузку на накопитель.

Тем не менее, сама возможность локального запуска подобных моделей на относительно доступном железе открывает новые перспективы для исследователей и энтузиастов. Это позволяет проводить отладку, эксперименты и кастомизацию без необходимости в сверхдорогой инфраструктуре. Подход Colibri демонстрирует путь к потенциальному снижению барьеров для работы с передовыми языковыми моделями и стимулирует поиск дальнейших оптимизаций в области эффективного использования ресурсов.