Rulați IBM Granite 4.0 H-Tiny în locul qwen3:4b, pe 16 nuclee

Expediere

28 septembrie 2026 la 04:36 UTC

Autor

Kamo

Comite

8f24b41

Proprietarul a cerut un model local care funcţionează mult mai bine la k3m1 AVX2-numai Xeons (2026-09-27, guvernând SP01-LLM-granite4). granit4:tiny-h este o Mamba-2/transformator hibrid MoE (7B total, ~1B activ): de mai multe ori qwen3:4b prompt și răspunde viteza pe CPU, instrument nativ de asteptare, și nu trece gândire. - postStart trage granit4:tiny-h; - Limită de procesor 8 - > 16 (LLAMA ARG ARG THREADS îl urmează), cerere 2 - > 4; - OLLAMA CONTEXT LENGTH 8192 -> 16384 (pasi agenti rula 3-5k jetoane); Memoria rămâne 8Gi.