Hugging 顔のテキストストリームは、ルータがそれをカウントしたように計測されます

Shipped

2026年9月28日 10:06 UTC

Author

Kamo

Commit

c9be36f

HuggingFaceAdapter はインターフェイスのテキストのみのデフォルトでストリーミングしました。すべてのチャンクは テキストを読んで、他に何も読みません。そのため、使用者は行いません。 チャットと各ストリームの回答は、chars/4の見積もりとしてメーターで計上されました。 今ストリームは尋ねる 使用法(stream options)のため。 include usage は、ルーターのチャット補完仕様で、 各チャンクをテキスト、Finish reason、および使用のために読み込みます。 依頼を拒否するルータ executor の ParameterFallback でそれなしで再び尋ねられます。 使用法のないストリーム チャンクは、見積もりを1つにフラグを立てておきます。 代わりに max tokens として切り離された応答が終わる 終わりとして読書の。 ストリームはもはやリクエストボディ(プロンプト)を出力しません スタディアウト。 SP99-T12の特長.