- Shipped
- 28 вересня 2026 р. о 04:36 UTC
- Author
- Kamo
- Commit
- 8f24b41
Власник запитав місцеву модель, яка суттєво краще працює на k3m1 AVX2-тільки Xeons (2026-09-27, ухвалення SP01-LLM-granite4). керамограніт4:тіно-х - це гібрид Mamba-2/transformer MoE (7B total, ~1B active): кілька разів qwen3:4b's оперативно і відповідна швидкість на процесорі, виклику рідного інструменту і не проходить думки. - постСтарт тягне граніт4:на-х; - обмеження процесора 8 -> 16 (LLAMA ARG THREADS наступним чином), запит 2 -> 4; - OLLAMA CONTEXT LENGTH 8192 -> 16384 (доступні кроки забігу 3-5к токенів); - OLLAMA FLASH ATTENTION=1. Пам'ять залишається 8Gi.