KamoCRM

Un modello in-cluster ottiene il tempo di leggere il suo prompt, all'interno del budget della passeggiata

FixAIService
Shipped
28 settembre 2026 alle ore 10:06 UTC
Author
Kamo
Commit
a1d2743

kamo-llm legge un prompt a circa 110 gettoni al secondo su k3m1 prima che scrive una parola, così un prompt E2 passato ~6k gettoni speso E2 intera 60 s per-attempt bound (e un flusso il suo 60 s primo evento legato) prima della risposta è iniziata, e la passeggiata si è spostata. Un tentativo su un modello IN CLUSTER ora ottiene anche il tempo di lettura del prompt al Non e' vero. (50: metà del tasso misurato, per chars/4 stima sugli schemi dello strumento JSON e una coda corta). Nessun tentativo passa oltre il il proprio budget, maxAttempts x il limite per-attempt, quindi la regola dei chiamanti (master sezione 11 'oraggi di laurea', SP04-F2: E10 3 x 120 s + 30 s) detiene ancora; ParameterFallback riprovazione, che ha usato per ottenere un nuovo pieno limite, è tenuto anche a esso. SP99-T12.

All changes

Like what you see shipping?

All of it arrives in your workspace on its own. Start on the free plan and read this page again in a month.

Start Free ForeverView Pricing