KamoCRM

Текстовый поток Hugging Face измеряется по мере подсчета маршрутизатора

FixAIService
Отгружено
28 сентября 2026 г. в 10:06 UTC
Автор
Kamo
Завершение
c9be36f

HuggingFaceAdapter транслировался по текстовому по умолчанию интерфейса: каждый фрагмент был читать за его текст и ничего больше, поэтому ни одно использование никогда не доходило до исполнителя или участника; чат и каждый потоковый ответ измерялся как оценка chars/4. Поток теперь спрашивает Использование (stream options). включите usage в спецификацию завершения чата маршрутизатора) и читает каждый фрагмент для своего текста, finish reason и использования. Маршрутизатор, который отказывается Исполнитель спрашивает снова без него ParameterFallback; поток без использования Кусок остается оценкой, помеченной как один. Отсеченный ответ теперь заканчивается как max tokens Чтение закончено. Поток больше не печатает тело запроса (подсказку). отстой. СП99-Т12.

Все изменения

Подобно тому, что вы видите доставку?

Все это приходит в ваше рабочее пространство само по себе. Начните с бесплатного плана и прочтите эту страницу снова через месяц.

Начать бесплатно навсегдаПосмотреть цены