Рубрика

Железо и GPU

Железо, на котором работают нейросети: видеокарты и ускорители, собственные чипы Google и Amazon, дата-центры и их аппетит к электричеству. Отдельно про то, что из этого реально поставить дома и сколько это стоит.

Железо и GPU

Инженеры ускорили Qwen3.8 до 75 токенов в секунду на двух RTX 3090 через оптимизацию llama.cpp

Детальный разбор узких мест в llama.cpp позволил более чем вдвое увеличить скорость генерации 27-миллиардной модели Qwen3.8 на двух видеокартах RTX 3090, продемонстрировав…

Алексей Нейролентов 29 Aug2 мин
Железо и GPU

Загадка низкой скорости ИИ на M3 Ultra: почему Qwen3.8-27B выдавал лишь 12 токенов в секунду

Разработчик столкнулся с неожиданно низкой производительностью оптимизированной модели Qwen3.8-27B на максимальной конфигурации Mac Studio с M3 Ultra, что заставило его искать узкое…

Алексей Нейролентов 28 Aug2 мин
Железо и GPU

Amazon утроил заказ на GPU Nvidia, стремясь захватить рынок облачного ИИ

Компания Amazon заказала дополнительно 2 миллиона GPU-ускорителей Nvidia для своих дата-центров, что свидетельствует о стратегическом сдвиге в партнерстве, выходящем за рамки простых…

Алексей Нейролентов 27 Aug2 мин
Железо и GPU

Nvidia инвестирует в строительство специализированных ЦОД для ИИ через партнерство с Cloverleaf

Компания Nvidia заключила партнерское соглашение с разработчиком центров обработки данных Cloverleaf, чтобы ускорить строительство специализированных объектов для задач искусственного интеллекта.

Алексей Нейролентов 22 Aug1 мин
Железо и GPU

Qwen3.8-27B на RTX 5090 обошла гигантскую DeepSeek V4 Flash в тестах

Тесты показали, что локально запущенная модель Qwen3.8-27B на одной видеокарте RTX 5090 продемонстрировала результат, сопоставимый с её же облачной версией и превзошла…

Алексей Нейролентов 16 Aug2 мин