KamoCRM

Un modèle en grappe obtient le temps de lire son invite, dans le budget de la marche

FixAIService
Expédié
28 septembre 2026 à 10:06 UTC
Auteur
Kamo
Commit
a1d2743

kamo-llm lit une invite à environ 110 jetons une seconde sur k3m1 avant d'écrire un mot, donc un E2 prompt passé ~6k jetons ont dépensé l'ensemble de E2 60 s par-tempt lié (et un flux son 60 s premier événement lié) avant le début de la réponse, et la marche a progressé. Une tentative sur un modèle IN CLUSTER obtient également le temps de lecture de l'invite à - Oui. (50: la moitié de la vitesse mesurée, pour estimation des chars/4 sur les schémas d'outils JSON et une courte file d'attente). Aucune tentative n'a dépassé le le budget propre de marche, maxAtteinte x le par-Atteinte lié, donc la règle des appelants (master la section 11 'délai de décadence', SP04-F2: E10 3 x 120 s + 30 s) tient toujours; ParameterFallback retry, qui avait l'habitude d'obtenir une nouvelle pleine liaison, est tenu à elle aussi. SP99-T12.

Tous les changements

Comme ce que vous voyez l'expédition?

Commencez avec le plan gratuit et lisez à nouveau cette page dans un mois, puis passez à l’abonnement payant pour bénéficier de toutes les fonctionnalités.

Commencez gratuitement pour toujoursVoir la tarification