KamoCRM

Ukuran setiap teI thread pool ke batas 1-CPU, dan biarkan probe outlast a batch

FixKlusterServices
Diantar
25 September 2026 pukul 10.25 UTC
Pengarang
Kamo
Kommit
5edb887

Backend ONNX TEI 1.5 dimulai satu benang inferensi per host core fisik (24 on k1m1) dan membaca tidak ada thread setting, sehingga di bawah pod 1-CPU quota CFS throttle membeku kolam mid- batch: a batch of 8 went from 0.3 s to 5-11 s, / health (yang menunggu batch in penerbangan) outwasts kubelet 's 1-s timeout, dan kepantasan membunuh model dua kali dalam satu reindex. RAGService ramai suatu peristiwa yang embed gagal, sehingga KB dan catatan pemutakhiran hilang, dan 106 Bagian Pusat Bantuan tidak pernah mendapat vektor. - gambar cpu-1,5 - > cpu-1.9.4: dari 1,6 kolam ONNX berukuran dari batas cgroup CPU. File model yang sama; vektor adalah bit-identik dengan 1.5, jadi titik Qrant tetap valid. Reanker SP01 menjalankan tag yang sama. - --tokenization -workers 1, and OMP / MKL / RAYN _ NUM _ THREADS = 1 (gambar set RAMIN sampai 8), jadi setiap kolam renang cocok dengan batas bahkan jika TEI jatuh kembali ke backend lilin. - litness dan kesiapan waktu outseconds 1 - > 10. * * * * * * * * * * * * * * * (python3 -m unittest menemukan -s penggelapan-model / tes) pin manifest, dan dengan TEI _ ROOTFS / TEI _ MODEL _ DIR menjalankan gambar manifest, args dan env di bawah kuota CPU dengan lima klien berbentuk RAGService-: cpu-1.5 berlari 35 benang, 2,7 potongan / s dan gagal 102 dari 121 probe; cpu-1.9.4 berjalan 6 benang, 8,1 potongan / s dan gagal tidak ada. Ulasan I-1 SP00 Terakhir KamoAI.

Semua perubahan

Seperti apa yang Anda lihat pengiriman?

Semuanya tiba di ruang kerja Anda sendiri. Mulai dengan rencana gratis dan baca halaman ini lagi dalam sebulan.

Mulai Bebas SelamanyaLihat Harga