Kukimbia IBM Itale 4.0 H-Tiny badala ya qwen3:4b, kwenye msingi wa 16

Ya

28 Septemba 2026, 04:36 UTC

Mwandishi

Kamo

Ahadi ya

8f24b41

Mmiliki aliomba mfano wa ndani ambao unaendelea vizuri zaidi kwenye k3m1 AVX2-tu Xeons (2026-09-27, tawala SP01-LLM-granite4). Picha zote na Wizara ya Mambo ya Ndani ya Nchi. .................................................................... Mchanganyiko Mamba-2 / mtafsiri MoE (7B jumla, ~ 1B kazi): mara kadhaa qwen3:4b ya Haraka na kujibu kasi kwenye CPU, simu ya zana ya asili, na hakuna kupita kwa kufikiri. Picha zote na Wizara ya Mambo ya Ndani ya Nchi. .................................................................... - CPU kikomo 8 -> 16 (LLAMA ARG THREADs ifuatavyo), ombi 2 -> 4 - OLLAMA CONTEXT LENGTH 8192 -> 16384 (hatua za haraka kukimbia ishara za 3-5k); - OLLAMA FLASH ATTENTION=1. kumbukumbu inakaa 8Gi.