- शिप
- 28 सितंबर 2026 को 4:36 am बजे UTC
- लेखक
- Kamo
- Commit
- 8f24b41
मालिक ने एक स्थानीय मॉडल के लिए कहा जो K3m1 पर काफी बेहतर प्रदर्शन करता है AVX2-only Xeons (2026-09-27, सत्तारूढ़ SP01-LLM-granite4)। ग्रेनाइट4: टिनी-एच एक है हाइब्रिड Mamba-2 / ट्रांसफॉर्मर MoE (7B कुल, ~ 1B सक्रिय): कई बार qwen3: 4b सीपीयू, मूल उपकरण कॉलिंग और कोई सोच पास पर शीघ्र और उत्तर देने की गति। - पोस्टस्टार्ट ने ग्रेनाइट4: टिनी-एच खींच लिया; - सीपीयू सीमा 8 -> 16 (LLAMA ARG THREADS इसका अनुसरण करता है), अनुरोध 2 -> 4; -OLLAMA CONTEXT LENGTH 8192 -> 16384 (एजेंट स्टेप्स 3-5k टोकन चलाते हैं); - OLLAMA FLASH ATTENTION=1. मेमोरी 8Gi रहता है।.