- Shipped
- 28 Septemba 2026, 04:36 UTC
- Author
- Kamo
- Commit
- 8f24b41
Mmiliki aliomba mfano wa ndani ambao unaendelea vizuri zaidi kwenye k3m1 AVX2-tu Xeons (2026-09-27, tawala SP01-LLM-granite4). Picha zote na Wizara ya Mambo ya Ndani ya Nchi. .................................................................... Mchanganyiko Mamba-2 / mtafsiri MoE (7B jumla, ~ 1B kazi): mara kadhaa qwen3:4b ya Haraka na kujibu kasi kwenye CPU, simu ya zana ya asili, na hakuna kupita kwa kufikiri. Picha zote na Wizara ya Mambo ya Ndani ya Nchi. .................................................................... - CPU kikomo 8 -> 16 (LLAMA ARG THREADs ifuatavyo), ombi 2 -> 4 - OLLAMA CONTEXT LENGTH 8192 -> 16384 (hatua za haraka kukimbia ishara za 3-5k); - OLLAMA FLASH ATTENTION=1. kumbukumbu inakaa 8Gi.