Reduce chunk size to fit all-MiniLM-L6-v2 token limit (256 max)

FixRAGService
Expediere
18 martie 2026 la 02:54 UTC
Autor
Kamo
Comite
a794078

Chunk target was 2000 chars (~512 tokens) but the embedding model only accepts 256 tokens, causing 413 validation errors. Reduce to 800 chars (~200 tokens) with 100 char overlap.

Toate modificările

Ca ceea ce vezi de transport maritim?

Fiecare dintre aceste actualizări aterizează automat în spațiul de lucru. Începe gratuit și urmăriți-l crească săptămână după săptămână.

Pornește gratuit pentru totdeaunaVezi prețurile