- 已装运
- 2026年9月28日 04:36 UTC
- 作者
- Kamo
- 提交
- 8f24b41
店主要求一个本地型号,在K3m1的车上运行得更好 AVX2-只收Xeons (2026-09-27,裁定SP01-LLM-granite4). 花岗岩4:tiny-h是一个 混合 Mamba-2/ 转换器 MoE( 共7B, ~1B活性): 多次 qwen3: 4b's 在 CPU 上迅速并回答速度, 本地工具呼叫, 没有思维通过 。 - 后Start拉花岗岩4:tiny-h; - CPU限制8 - > 16(LLAMA ARG THREADS遵循),请求2 - > 4; - OLLAMA CONTEXT LENGTH 8192 - > 16384(代理步骤运行3-5k个令牌); - OLLAMA FLASH ATTENTION=1. 记忆保持为8Gi.