- Shipped
- 25 Septemba 2026, 10:25 UTC
- Author
- Kamo
- Commit
- 5edb887
Kurudi nyuma kwa ONNX ya 1.5 huanza thread moja ya inference kwa msingi wa mwenyeji wa kimwili (24 kwenye k1m1) na Kusoma hakuna kuweka thread, hivyo chini ya pod ya 1-CPU upendeleo CFS throttle froze pool mid-batch: kundi la 8 lilitoka 0.3 s hadi 5-11 s, / afya (ambayo inasubiri kwa ajili ya kundi katika Ndege iliondoa muda wa kubelet, na uhai uliua mfano mara mbili katika reindex moja. RAG Service acks tukio ambalo embed kushindwa, hivyo wale KB na taarifa za kumbukumbu walikuwa waliopotea, na 106 Makala ya Kituo cha Msaada haijawahi kupata vectors. Picha cpu-1.5 -> cpu-1.9.4: kutoka 1.6 ONNX pool ni ukubwa kutoka cgroup CPU kikomo. Faili za mfano sawa; vectors ni kidogo-identical kwa 1.5's, hivyo pointi za Qdrant kubaki halali. Nambari ya SP01 ni sawa. - Kuongeza wafanyakazi 1, na OMP / MKL / RAYON NUM THREADS = 1 (picha inaweka RAYON kwa 8), hivyo Kila pool mechi kikomo hata kama TEI kuanguka nyuma ya mshumaa wake nyuma. - Maisha na maandalizi ya wakati 1 -> 10. Kwa mfano, *** (python3 -m kitengo kugundua - embedding-model/tests) Pini wazi, na kwa TEI ROOTFS/TEI MODEL DIR anaendesha picha ya wazi, args na env Chini ya upendeleo wake wa CPU na wateja watano wa RAG Service-umbo: cpu-1.5 mbio nyuzi 35, 2.7 chunks / s na kushindwa 102 kati ya 121 uchunguzi; cpu-1.9.4 anaendesha nyuzi 6, 8.1 chunks / s na kushindwa. Matokeo ya mwisho ya mtihani wa I-1.