KamoCRM

Cap llama-server's підказковий кеш нижче ліміту пам'яті, тому він перестає бути OOMKilleded

FixKlusterServices
Shipped
28 вересня 2026 р. о 14:09 UTC
Author
Kamo
Commit
f4d979d

llama-server's host-RAM за замовчуванням кеш-пам'яті до 8192 MiB (-Cache-ram), the весь ліміт контейнера, тому він виріс до тих пір, поки ядер загинув Оллама: на 2026-09-28 провів 14 підказок в 3 548 MiB на моделі ~4.4 GiB і 15 Збережено (8 решток у 9.5 ч, 502 до кожного дзвінка у польоті). LLAMA ARG CACHE RAM =1024 зберігає про чотири підказки (частина дії агенції ~340 токени префіксу, тому нічого не втратили; LLAMA ARG CTX CHECKPOINTS=8 зв'язує per-slot checkpoints (2-3 за запитом в ~55 MiB) що за замовчуванням 32 зліва на 1.7 GiB. Ollama запускає llama-сервер з ні прапором, а енв досягає його.

All changes

Like what you see shipping?

All of it arrives in your workspace on its own. Start on the free plan and read this page again in a month.

Start Free ForeverView Pricing