KamoCRM

Текстовый поток Hugging Face измеряется по мере подсчета маршрутизатора

FixAIService
Порезанный
28 сентября 2026 г. в 10:06 UTC
Автор
Kamo
Обещать
c9be36f

HuggingFaceAdapter транслировался по текстовому по умолчанию интерфейса: каждый фрагмент был читать за его текст и ничего больше, поэтому ни одно использование никогда не доходило до исполнителя или участника; чат и каждый потоковый ответ измерялся как оценка chars/4. Поток теперь спрашивает Использование (stream options). включите usage в спецификацию завершения чата маршрутизатора) и читает каждый фрагмент для своего текста, finish reason и использования. Маршрутизатор, который отказывается Исполнитель спрашивает снова без него ParameterFallback; поток без использования Кусок остается оценкой, помеченной как один. Отсеченный ответ теперь заканчивается как max tokens Чтение закончено. Поток больше не печатает тело запроса (подсказку). отстой. СП99-Т12.

Все изменения

Как вы видите судоходство?

Все это приходит в ваше рабочее пространство самостоятельно. Начните с бесплатного плана и прочитайте эту страницу через месяц.

Начните бесплатно навсегдаПосмотреть цены