Запустите IBM Granite 4.0 H-Tiny вместо qwen3:4b на 16 ядрах

Порезанный

28 сентября 2026 г. в 04:36 UTC

Автор

Kamo

Обещать

8f24b41

Владелец попросил местную модель, которая работает значительно лучше на k3m1. AVX2-only Xeons (2026-09-27, правящий SP01-LLM-гранит4). Гранит 4:tiny-h представляет собой гибридный Mamba-2/трансформатор MoE (7B, ~1B активен): несколько раз qwen3:4b Скорость вызова и ответа на CPU, нативный вызов инструмента и отсутствие мышления. - PostStart тянет гранит4:tiny-h; - ограничение процессора 8 -> 16 (следует LLAMA ARG THREADS), запрос 2 -> 4; - OLLAMA CONTEXT LENGTH 8192 -> 16384 (шаги агента запускают токены 3-5k); - OLLAMA FLASH ATTENTION=1. Память остается 8Gi.