KamoCRM

Un model in-cluster devine timp pentru a citi prompt, în interiorul bugetului plimbare

FixAIService
Shipped
28 septembrie 2026 la 10:06 UTC
Author
Kamo
Commit
a1d2743

kamo-llm citește un prompt la aproximativ 110 jetoane o secundă pe k3m1 înainte de a scrie un cuvânt, astfel încât un E2 prompt trecut ~6k jetoane cheltuit E2 întreg 60 s per-attemp legat (și un flux 60 e primul eveniment legat) înainte de a începe răspunsul, și mersul a mers mai departe. O încercare. pe un model IN CLUSTER acum devine, de asemenea, timpul de lectură prompt la - Nu. (50: jumătate din rata măsurată, pentru chars/4 estimeaza pe jSON scheme instrument si o coada scurta). Nici o încercare trece peste bugetul propriu de mers pe jos, maxAttempts x per-attemp legat, astfel încât regula apelanţilor (master secțiunea 11 "Timeout-uri pentru fațade," SP04-F2: E10 3 x 120 s + 30 s) rămâne valabilă; ParametruFallback retry, care a folosit pentru a obține un nou legat complet, este ținut la ea. SP99-T12.

All changes

Like what you see shipping?

All of it arrives in your workspace on its own. Start on the free plan and read this page again in a month.

Start Free ForeverView Pricing