KamoCRM

Run llama-server with one thread per core of its CPU limit

FixKlusterServices
Shiked
28 Eylül 2026 02:35 UTC
Yazar
Kamo
Commit
6186ce6

Ollama, llama-server without -threads olmadan başlar, bu yüzden k3m1'in 24 fiziksel fiziksel fiziksel fiziksel olarak sayılır Çekirdekler ve konteynerin 8core kontenjanın içinde 24 işlem parçacığı koştu. The The The The The The The The Konteyner iki kat daha uzun süre çalışırken geçirdi (16 560 s throttled karşı 8 405 s kullanılmış), hızlılar ~25 jeton / ve Cevaplar ~3'te gitti ve 3 600-token ajan adım, girişim başına AIService'ın 120 s içinde bitemedi. LING ARG THREADS, llama-server tarafından okunur (ve aynı zamanda toplu iplikleri ayarlar); Downward API sınırlarına bağlar.cpu bu yüzden ikisi ayrı sürüklenemez.

Tüm değişiklikler

Kargoyu gördüğünüz gibi?

Tüm bunlar kendi başına iş alanınıza geliyor. Ücretsiz plana başlayın ve bu sayfayı bir ay içinde tekrar okuyun.

Sonsuza Kadar Ücretsiz BaşlangıçFırsatları Görüntüle