KamoCRM

Модель в кластере получает время, чтобы прочитать ее подсказку, в рамках бюджета прогулки

FixAIService
Отгружено
28 сентября 2026 г. в 10:06 UTC
Автор
Kamo
Завершение
a1d2743

kamo-llm читает подсказку со скоростью около 110 токенов в секунду на k3m1, прежде чем пишет слово. Таким образом, токены E2, прошедшие ~ 6k, потратили все 60 s на попытку E2 (и поток) Его первое событие за 60 с) до начала ответа, и прогулка продолжилась. Попытка на модели IN CLUSTER теперь также получает время чтения подсказки **************************** (50: половина измеренной скорости, для chars/4 estimate on JSON tool schemas and a short queue. Ни одна попытка не проходит мимо Собственный бюджет ходьбы, maxAttempts x the per-attempt bound, so the callers' rule Раздел 11 «фасадные тайм-ауты», SP04-F2: E10 3 x 120 с + 30 с) все еще держится; ParameterFallback retry, который раньше получал свежую полную связь, также удерживается. СП99-Т12.

Все изменения

Подобно тому, что вы видите доставку?

Все это приходит в ваше рабочее пространство само по себе. Начните с бесплатного плана и прочтите эту страницу снова через месяц.

Начать бесплатно навсегдаПосмотреть цены