KamoCRM

Cap llama-server 's short cache below the memory limit, so it stop being OOMKilled

FixKlusterServices
Shipped
28 września 2026 14:09 UTC
Author
Kamo
Commit
f4d979d

llama-server 's host- RAM speed cache defaults to 8192 MiB (-- cache- ram), the kontener cały limit, więc wzrosła aż jądro zabił ollama: na 2026- 09- 28 to odbyło 14 prompts w 3 548 MiB na ~ 4.4 GiB modelu i 15 OOMKilled (8 powtórzeń w 9.5 h, 502 do każdego połączenia w locie). LLAMA _ ARG _ CACHE _ RAM = 1024 utrzymuje około czterech promptów (agent kroki akcji ~ 340 żetony przedrostka, więc nic nie jest stracone); LLAMA _ ARG _ CTX _ CHECKPOINTS = 8 granice per- slot checkpoints (2-3 per spell at ~ 55 MiB), że domyślnie 32 lewo w 1.7 GiB. Ollama rozpoczyna serwer lama z żadną flagą, a env dociera do niej.

All changes

Like what you see shipping?

All of it arrives in your workspace on its own. Start on the free plan and read this page again in a month.

Start Free ForeverView Pricing