KamoCRM

An Ollama model's context is the window the server serves, not the trained one

FixAIService
সারি
২৮ সেপ্টেম্বর, ২০২৬ এ ১০:০৬ AM UTC
লেখক
Kamo
মন্তব্য@ info: status
68050c5

OllamaDiscovery took model_info.*.context_length from /api/show: the window the model was TRAINED for. The registry listed granite4:tiny-h at 1 048 576 (and qwen3:4b at 262 144) while kamo-llm serves 16 384 (OLLAMA_CONTEXT_LENGTH, klusterservices), so the router never excluded a prompt past 16k and trimming aimed at a million tokens; Ollama cuts such a prompt. The window now comes from GET /api/ps, the loaded model's context_length. A model the server has not loaded is reported without a window, and a sync keeps the stored one. At 16 384 the automated LONG_CONTEXT claim goes away, so the row's 1 048 576 no longer mirrors back into max_context_length. SP99-T12.

সব পরিবর্তন

যেমন তুমি জাহাজ দেখেছ?

সব কিছু তোমার নিজের কাজে এসেছে. বিনামূল্যে পরিকল্পনা চালু করুন এবং মাসে পুনরায় এই পাতাটি পড়ুন।.

চিরকালের জন্য মুক্তকরণ আরম্ভ করা হবেপ্রদর্শন সংক্রান্ত পছন্দ