Reduce chunk size to fit all-MiniLM-L6-v2 token limit (256 max)

FixRAGService
Shipped
18 Maret 2026 pukul 02.54 UTC
Author
Kamo
Commit
a794078

Chunk target was 2000 chars (~512 tokens) but the embedding model only accepts 256 tokens, causing 413 validation errors. Reduce to 800 chars (~200 tokens) with 100 char overlap.

All changes

Seperti apa yang Anda lihat pengiriman?

Semua pembaruan ini secara otomatis mendarat di ruang kerja Anda. Mulai bebas dan menontonnya tumbuh minggu demi minggu.

Mulai Bebas SelamanyaTampilkan Harga