KamoCRM

运行 IBM 花岗岩 4.0 H-Tiny 以取代 qwen3: 4b, 位于 16 个核心

FeatureKlusterServices
已装运
2026年9月28日 04:36 UTC
作者
Kamo
提交
8f24b41

店主要求一个本地型号,在K3m1的车上运行得更好 AVX2-只收Xeons (2026-09-27,裁定SP01-LLM-granite4). 花岗岩4:tiny-h是一个 混合 Mamba-2/ 转换器 MoE( 共7B, ~1B活性): 多次 qwen3: 4b's 在 CPU 上迅速并回答速度, 本地工具呼叫, 没有思维通过 。 - 后Start拉花岗岩4:tiny-h; - CPU限制8 - > 16(LLAMA ARG THREADS遵循),请求2 - > 4; - OLLAMA CONTEXT LENGTH 8192 - > 16384(代理步骤运行3-5k个令牌); - OLLAMA FLASH ATTENTION=1. 记忆保持为8Gi.

所有更改

就像你看到的运输?

所有东西都是靠自己运入你的工作空间的 从免费计划开始,一个月后再读这页.

永远开始自由查看定价