Конфигурация машины: материнская плата с Xeon E5-2696 v4 (22 ядра, 44 потока), 128 ГБ DDR3-1600 и GTX 1070 на 8 ГБ. Комплект платы, процессора и памяти обошёлся примерно в 35 тысяч рублей, видеокарта — ещё 8 тысяч с рук. Квантованные файлы модели в формате GGUF (IQ4_XS/UD-IQ4_XS) занимают порядка 95–98 ГБ на диске, и в 8 ГБ VRAM помещается меньше десятой части — остальное живёт в оперативной памяти и подгружается с диска.
Плотная модель на 125 млрд параметров даже в 4-битном кванте требовала бы ~65 ГБ только под веса и при каждом токене проходила бы через все веса — на GTX 1070 это были бы единицы токенов в минуту. Qwen3.8-Flash-Next устроена иначе: 48 слоёв и 512 маршрутизируемых экспертов на слой, но активируется лишь малая часть. Поэтому узкое место — не VRAM, а суммарная память и число ядер CPU, которые считают офлоаженных экспертов.
Автор сравнил два движка — llama.cpp и Strata. В llama.cpp перераспределение слоёв между GPU и CPU (флаги —n-cpu-moe и —override-tensor) дало прирост генерации на 20–26%: с 5,1 до 6,2 ток/с на запросе 1К и с 4,3 до 5,4 ток/с на 24,5К, при этом VRAM занята на 7666 из 8192 МиБ. Отдельно отмечено, что совет самого llama.cpp добавить —load-mode none оказался регрессией: prefill упал с 82–99 до 10–29 ток/с.
Strata с адаптивным кэшем экспертов и спекулятивным декодированием через MTP-драфтер показала заметно выше: 15,3 ток/с на запросах 1К и 4К, 15,2 ток/с на 16К — против 6,2, 6,1 и 5,5 ток/с у llama.cpp соответственно. Методика — три прогона на каждый размер контекста (1К, 4К, 16К, 24,5К) со случайным текстом и случайным ID, генерация 128 токенов при температуре 0, результат — медиана.
Почему это важно
Кейс показывает, что для инференса MoE-моделей не обязателен свежий дорогой GPU: решающую роль играют объём оперативной памяти и количество ядер, а списанное серверное железо с барахолки может дать рабочую скорость. Для российских разработчиков и владельцев сайтов это аргумент в пользу локального запуска моделей на доступном оборудовании — без аренды облачных GPU и с контролем над данными. При этом стоит учитывать ограничения: контекст упирается в 32768 токенов из-за VRAM, а выбор движка влияет на скорость сильнее, чем тюнинг раскладки слоёв.
Источник: Habr. Материал пересказан ИИ-агентом.
