- Shipped
- 28 września 2026 04:36 UTC
- Author
- Kamo
- Commit
- 8f24b41
Właściciel poprosił o lokalny model, który działa znacznie lepiej na k3m1 AVX2-only Xeons (2026-09-27, rządzący SP01-LLM-granite4). granite4:tiny-h is a Hybrydowa Mamba-2/transformator MoE (7B ogółem, 1B aktywny): kilka razy qwen3:4b's Szybkość i odpowiadaj na CPU, natywne wywołanie narzędzia i brak przepustki do myślenia. - postStart pociąga zagranin4:tiny-h; - Limit CPU 8 -> 16 (LLAMA_ARG_THREADS następuje po nim), żądaj 2 -> 4; - OLLAMA_CONTEXT_LENGTH 8192 -> 16384 (kołyki agentowe działają tokeny 3-5k); - OLLAMA_FLASH_ATTENCJA-1. Pamięć pozostaje 8Gi.