Asisten SI di dalam KamoCRM membaca dokumen sendiri dari penyewa sebelum menjawab. Membuat pekerjaan itu berarti menjalankan seluruh rantai sendiri: server model, model tertanam, basis data vektor, pengenalan ucapan, sintesis ucapan dan terjemahan mesin, semua di dalam cluster kami, semua pada data yang tidak pernah meninggalkannya.
| Ukuran | Nilai | Sumber | Diukur |
|---|---|---|---|
| Inferensi dan layanan pembicaraan yang dihost sendiri | 6 (model server, embedding model, vector database, speech recognition, speech synthesis, machine translation) | kubectl get deployments,statefulsets --all-namespaces | |
| Pencarian khusus dan layanan vektor di platform | 3 (RAG service, vector service, embedding model) | kubectl get deployments -n kamo | |
| Bahasa yang dilayani oleh pipa terjemahan yang dihost sendiri | 22 | messages/*.json in the marketing site repository | |
| Tingkat kesalahan pengenalan karakter optik | 0.180 CER | ocrservice evaluation run |
Apa gedung itu mengajarkan kita
Memanggil model API yang dihost adalah pekerjaan siang hari dan kami juga melakukannya, di mana itu adalah jawaban yang benar. Melakukan inferensi sendiri adalah disiplin yang berbeda, dan itu adalah satu klien yang bertanya tentang saat data mereka sensitif — kesehatan, keuangan, hukum, apapun di bawah kewajiban data-residensi. Pada titik itu 'kami mengirimkannya ke pihak ketiga' mengakhiri percakapan, dan hanya tim yang sebenarnya telah mengoperasikan alternatif dapat melanjutkannya.
Pencarian adalah di mana sistem ini menang atau kalah, dan kebanyakan tidak glamor. Menghancurkan dokumen sehingga bagian yang dicari menjadi terpisah. Memutuskan apa arti sebuah pertanyaan bahkan ketika pengguna mengetik empat kata. Membuat pencarian menghormati izin, sehingga asisten tidak dapat menjawab dari dokumen yang orang yang bertanya tidak diizinkan untuk membacanya — yang mudah untuk salah, dan jenis kesalahan yang berakhir dalam surat regulator daripada pelacak bug. Basis pengetahuan kita memiliki tingkat visibilitas yang lapisan pencarian harus menghormati persis seperti membaca yang berhadapan dengan manusia, di dua tempat terpisah yang harus sepakat.
Kami juga menjalankan pengenalan dan sintesis ucapan, dan terjemahan mesin di dua puluh dua bahasa. Pipa terjemahan mengajarkan kami yang paling, sebagian besar dengan gagal diam-diam: pembaruan berlebihan berjalan tanpa transaksi berhasil di kertas dan tidak menulis apa-apa untuk dua puluh satu bahasa, dan karena tidak ada yang melempar, tidak ada yang menyadarinya untuk waktu yang lama. Kegagalan diam adalah bahaya yang menentukan pekerjaan SI berlebihan, dan kami sekarang instrumen untuk itu secara default.
Dibangun dengan
- Ollama
- Qdrant
- Whisper
- Coqui TTS
- LibreTranslate
- Python
- Java
- Spring Boot
Apa ini memenuhi syarat kita untuk
Katakan pada kami apa yang Anda coba lakukan
Sebuah percakapan singkat biasanya cukup untuk mengatakan apakah kami orang yang tepat. jika kami tidak, kami akan mengatakannya dan menunjukkan tempat yang lebih baik.