メモリ制限の下のCap llama-serverのプロンプトキャッシュは、OOMKilled であることを停止します

Shipped

2026年9月28日 14:09 UTC

Author

Kamo

Commit

f4d979d

llama-server の host-RAM プロンプト キャッシュのデフォルトは 8192 MiB (---cache-ram) です。 コンテナ全体が制限されるので、カーネルがオラマを殺したまで成長しました。 2026-09-28 は ~4.4 の GiB モデルおよび 15 の 3 つの 548 MiB の 14 つのプロンプトでそれを保持しました 保存は OOMKilled (8 は 9.5 h で再起動します。, 飛行中のすべての呼び出しに 502). ラマ ARG CACHE RAM =1024は4つのプロンプト(エージェントのステップシェア〜340)を保持します プレフィックスのトークンは失われません。 LLAMA ARG CTX CHECKPOINTS=8 は、 per-slot checkpoints (~55 MiB のプロンプトあたり2-3) は、デフォルトの 32 は左 1.7 GiB. Ollama は llama-server を起動し、そのフラグは ありません.