Führen Sie IBM Granite 4.0 H-Tiny anstelle von qwen3:4b, auf 16 Kernen

Verschickt

28. September 2026 um 04:36 UTC

Autor

Kamo

Commit

8f24b41

Der Besitzer fragte nach einem lokalen Modell, das auf k3m1 wesentlich besser läuft AVX2-only Xeons (2026-09-27, Urteil SP01-LLM-Granite4). Granit4:tiny-h ist ein hybrider Mamba-2/Transformer MoE (7B total, -1B aktiv): mehrfach qwen3:4b's prompt und beantworten Geschwindigkeit auf CPU, natives Tool-Anruf, und kein Denken passieren. - postStart zieht Granit4:tiny-h; - CPU-Limitt 8 -" 16 (LLAMA_ARG_THREADS folgt darauf), Anfrage 2 -- 4; - OLLAMA_CONTEXT_LENGTH 8192 - 16384 (Agentschritte laufen 3-5k Token); - OLLAMA_FLASH_ATTENTION=1. Speicher bleibt 8Gi.