- Verschifft
- 28. September 2026 um 04:36 UTC
- Autor
- Kamo
- Ausschuss
- 8f24b41
Der Besitzer fragte nach einem lokalen Modell, das auf k3m1 wesentlich besser läuft AVX2-only Xeons (2026-09-27, Urteil SP01-LLM-Granite4). Granit4:tiny-h ist ein hybrider Mamba-2/Transformer MoE (7B total, -1B aktiv): mehrfach qwen3:4b's prompt und beantworten Geschwindigkeit auf CPU, natives Tool-Anruf, und kein Denken passieren. - postStart zieht Granit4:tiny-h; - CPU-Limitt 8 -" 16 (LLAMA_ARG_THREADS folgt darauf), Anfrage 2 -- 4; - OLLAMA_CONTEXT_LENGTH 8192 - 16384 (Agentschritte laufen 3-5k Token); - OLLAMA_FLASH_ATTENTION=1. Speicher bleibt 8Gi.