KamoCRM

Size every TEI thread pool to the 1-CPU limit, and let probes outlast a batch

FixKlusterServices
Enviado
25 de septiembre de 2026 a las 10:25 UTC
Autor
Kamo
Commit
5edb887

El backend ONNX de TEI 1.5 comienza un hilo de inferencia por núcleo de host físico (24 en k1m1) y no lee ninguna configuración de hilo, así que bajo la cuota de 1-CPU de la vaina el acelerador CFS congeló la piscina mitad-batch: un lote de 8 pasó de 0,3 s a 5-11 s, /salud (que espera el lote en vuelo) el tiempo fuera de kubelet 1-s, y la vida mató el modelo dos veces en un índice. RAGService ataca un evento cuya embajada falló, por lo que los KB y las actualizaciones de notas se perdieron, y 106 Los artículos del Centro de Ayuda nunca tienen vectores. - image cpu-1.5 - confianza cpu-1.9.4: de 1,6 la piscina ONNX se talla desde el límite de la CPU del grupo. Los mismos archivos modelo; los vectores son poco identicos a 1,5's, por lo que los puntos de Qdrant permanecen válidos. El reranker de SP01 maneja la misma etiqueta. - --tokenization-workers 1, y OMP/MKL/RAYON NUM THREADS=1 (la imagen establece RAYON a 8), por lo que cada piscina coincide con el límite incluso si TEI cae de nuevo a su backend de vela. - tiempo de vida y preparaciónSegundos 1 - título 10. ¿Qué? (python3 -m unittest Discover -s embedding-model/tests) fija el manifiesto, y con TEI ROOTFS/TEI MODEL DIR ejecuta la imagen del manifiesto, args y env bajo su cuota de CPU con cinco clientes en forma de RAGService: cpu-1.5 corrió 35 hilos, 2.7 pedazos/s y falló 102 de 121 sondas; cpu-1.9.4 corre 6 hilos, 8.1 pedazos/s y no falla ninguno. KamoAI SP00 examen final I-1.

Todos los cambios

¿Te gusta lo que ves envío?

Comienza con el plan gratuito y vuelve a leer esta página dentro de un mes para ver cómo funcionan las funciones y los beneficios.

Comience gratis para siempreVer los precios