Два мини-ПК на AMD Strix Halo развернули полноценную AI-инфраструктуру: 34 контейнера и локальная Qwen3.6

Инженер развернул AI-инфраструктуру на двух мини-ПК Beelink GTR9 Pro с процессорами Ryzen AI Max+.

На первом узле работает стек из 34 контейнеров. В него входят платформы Dify и RAGFlow, векторные базы данных, системы мониторинга и единого входа (SSO). Этот узел не генерирует текст сам, а получает его по сети с более мощного сервера. Его роль — оркестрация и разработка AI-приложений.

Второй мини-ПК запускает крупную языковую модель локально. На нем развернута модель Qwen3.6 с 35 миллиардами параметров. Замеры скорости генерации показали около 70 токенов в секунду. Тесты проводились с длиной контекста от 1K до 64K токенов при поддержке моделью окна в 256K.

Такая производительность стала возможной благодаря драйверам Vulkan/RADV и трем графическим ядрам в составе процессора. Ключевой момент — настройка параметра `ttm.pages_limit`. Она позволила выделить под графическую память (GTT) 117,4 ГБ, что необходимо для работы с большими моделями.

Эксперимент показывает общую тенденцию. AMD Strix Halo объединяет ядра Zen 5 и графику RDNA 3+ на одном кристалле, предлагая высокую пропускную способность памяти. Beelink GTR9 Pro упаковывает эту архитектуру в мини-ПК. Его размеры и энергопотребление несопоставимы с серверными стойками или игровыми ПК. Успешный запуск 35-миллиардной модели на таком устройстве снижает порог входа в локальный AI.

Это означает несколько практических следствий. Во-первых, разработчики и стартапы могут тестировать сложные AI-стэки и модели локально, без аренды облачных мощностей. Это снижает стоимость и ускоряет итерации. Во-вторых, AI-задачи можно выполнять на конечном устройстве. Это важно для сценариев с низкой задержкой, требованиями к конфиденциальности данных или работой без стабильного интернета. В-третьих, эксперимент подтверждает работоспособность стека для AI на платформах не от NVIDIA, в частности через открытые API вроде Vulkan. Это усиливает конкуренцию на рынке ускорителей.

Два мини-ПК демонстрируют сдвиг: мощные AI-вычисления упаковываются в настольные форматы. Это открывает путь к распределенным архитектурам. Один компактный узел может заниматься оркестрацией, а второй — ресурсоемкой генерацией. Подобные решения могут лечь в основу персональных AI-лабораторий, учебных стендов или IT-инфраструктуры малого бизнеса. Конфигурация показывает, что для развертывания рабочего AI-стека с 34 контейнерами и локальным запуском 35-миллиардной модели, выдающей около 70 токенов в секунду, достаточно двух компактных устройств с правильно настроенной графической памятью объемом 117,4 ГБ. Это делает локальные эксперименты с большими языковыми моделями более доступными.