barq
v0.71.0
Dabarqus adalah aplikasi yang berdiri sendiri yang mengimplementasikan solusi kain lengkap. Ini dirancang agar mudah digunakan dan mudah diintegrasikan dengan aplikasi Anda yang ada. Dabarqus termasuk API REST, antarmuka baris perintah, dan dasbor admin.
Jika Anda seorang pengembang, membangun solusi Rag dasar cukup mudah. Ada banyak tutorial dan caranya serta kode Python untuk digunakan kembali. Tetapi, jika Anda menggunakan solusi kain Anda di dalam perusahaan, atau untuk PC pengguna akhir, Anda juga harus mencari tahu beberapa masalah penyebaran dan pemeliharaan yang berpotensi rumit. Itu berarti juga menggunakan Python, database vektor, model AI yang menanamkan kanan, dan kemungkinan tantangan lisensi. Dabarqus diciptakan untuk mengatasi masalah ini dengan solusi all-in-one yang berdiri sendiri tanpa dependensi. Ini ditulis dalam C ++ tingkat rendah dengan kemampuan pencarian vektor bawaan, fleksibilitas untuk menggunakan model embedding AI yang terbaik untuk kasus penggunaan Anda, dan API REST untuk integrasi pengembangan yang mudah.
Dabarqus hanya bekerja pada CPU, atau dapat menggunakan nvidia cuda untuk kinerja yang lebih tinggi. Untuk versi CUDA (alias NVIDIA CUBLAS), Anda harus menginstal driver NVIDIA. Versi CPU tidak memerlukan perangkat lunak tambahan. Perhatikan bahwa untuk menggunakan versi CUDA, Anda harus memiliki GPU NVIDIA dengan dukungan CUDA, dan untuk mengunduh Dabarqus versi CUDA.
Untuk menginstal driver NVIDIA di Ubuntu (jika Anda memiliki GPU NVIDIA), jalankan perintah berikut:
sudo ubuntu-drivers installUnzip file dabarqus ke folder
unzip Dabarqus-linux-DOWNLOADED_VERSION.zip
cd Dabarqus-linux-DOWNLOADED_VERSION
chmod +x ./bin/ *
./bin/barq service install Buka browser dan buka http://localhost:6568/admin
Untuk unduhan file paket, lakukan hal berikut:
http://localhost:6568/adminUntuk unduhan file zip, lakukan hal berikut:
Unzip file dabarqus ke folder
unzip Dabarqus-linux-DOWNLOADED_VERSION.zip
cd Dabarqus-linux-DOWNLOADED_VERSION
./bin/barq service install Buka browser dan buka http://localhost:6568/admin
http://localhost:6568/admin BERGERVEST DOKUMEN, DATABASE, DAN API : menelan beragam sumber data seperti PDFS*, email, dan data mentah.
Dorongan Gaya LLM : Gunakan permintaan yang sederhana dan bergaya LLM saat berbicara dengan bank memori Anda.
REST API : Antarmuka kontrol komprehensif untuk mengunduh model, mendorong indeks semantik, dan bahkan inferensi LLM.
Beberapa indeks semantik (bank memori) : Kelompokkan data Anda ke dalam indeks semantik terpisah (bank memori).
SDK : SDK asli dalam Python dan JavaScript.
Output ramah-LLM : menghasilkan output siap-LLM yang berfungsi dengan chatgpt, ollama, dan penyedia LLM lainnya
Dasbor Admin : Monitor kinerja, menguji bank memori, dan membuat perubahan dalam UI yang mudah digunakan
Dukungan Mac, Linux, dan Windows : Berjalan secara asli dengan nol dependensi pada semua platform: macOS (intel atau logam), Linux, dan Windows (CPU atau GPU)
Inferensi LLM : Obrolan dengan model LLM tepat melalui API/SDK Dabarqus
*Dabarqus Professional Edition diperlukan untuk email, pesan, dan dukungan API.
Untuk menginstal: barq service install
Untuk menghapus instalasi: barq service uninstall
Penggunaan: barq store --input-path <path to folder> --memory-bank "<memory bank name>"
Contoh: barq store --input-path C:docs --memory-bank documents
Penggunaan: barq retrieve --memory-bank "<memory bank name>"
barq retrieve --memory-bank documentsbarq retrieve --memory-bank documents --query "Tell me about the documents" --query-limit 3 Ini akan menampilkan tiga jawaban untuk permintaan dari bank memori 'Dokumen' | Metode | Titik akhir | Keterangan | Parameter |
|---|---|---|---|
| MENDAPATKAN | /Kesehatan atau /API /Kesehatan | Periksa status kesehatan layanan | Tidak ada |
| MENDAPATKAN | /admin/* | Sajikan Aplikasi Admin | Tidak ada |
| MENDAPATKAN | /odobo/* | Sajikan Aplikasi Odobo | Tidak ada |
| MENDAPATKAN | /API/Model | Mengambil model AI yang tersedia | Tidak ada |
| MENDAPATKAN | /API/Model/Metadata | Dapatkan metadata untuk model tertentu | modelRepo , filePath (opsional) |
| MENDAPATKAN | /API/unduhan | Dapatkan informasi tentang item yang diunduh | modelRepo (Opsional), filePath (Opsional) |
| MENDAPATKAN | /API/unduhan/enqueue | Enqueue unduhan baru | modelRepo , filePath |
| MENDAPATKAN | /API/Unduh/Batal | Batalkan unduhan | modelRepo , filePath |
| MENDAPATKAN | /API/unduhan/hapus | Hapus item yang diunduh | modelRepo , filePath |
| MENDAPATKAN | /API/inferensi | Dapatkan informasi tentang item inferensi | alias (opsional) |
| MENDAPATKAN | /API/inferensi/start | Mulailah inferensi | alias , modelRepo , filePath , address (Opsional), port (Opsional), contextSize (Opsional), gpuLayers (Opsional), chatTemplate (Opsional) |
| MENDAPATKAN | /API/inferensi/berhenti | Hentikan kesimpulan | alias |
| MENDAPATKAN | /API/Inferensi/Status | Dapatkan status inferensi | alias (opsional) |
| MENDAPATKAN | /API/inferensi/reset | Setel ulang kesimpulan | alias |
| MENDAPATKAN | /API/inferensi/restart | Mulai ulang kesimpulan saat ini | Tidak ada |
| MENDAPATKAN | /API/Perangkat Keras atau/API/Perangkat Keras | Dapatkan informasi perangkat keras | Tidak ada |
| MENDAPATKAN | /API/sutra | Dapatkan status memori | Tidak ada |
| MENDAPATKAN | /API/sutra/aktifkan | Aktifkan kenangan | Tidak ada |
| MENDAPATKAN | /API/Silk/Disable | Nonaktifkan kenangan | Tidak ada |
| MENDAPATKAN | /API/Silk/MemoryBanks | Dapatkan informasi bank memori | Tidak ada |
| MENDAPATKAN | /API/Silk/MemoryBank/Activate | Aktifkan bank memori | memorybank |
| MENDAPATKAN | /API/Silk/MemoryBank/Nonaktifkan | Nonaktifkan bank memori | memorybank , all |
| MENDAPATKAN | /API/sutra/kueri | Melakukan kueri semantik | (Parameter ditangani oleh sutra retriever) |
| MENDAPATKAN | /API/Sutra/Kesehatan | Periksa kesehatan sutra retriever | Tidak ada |
| MENDAPATKAN | /API/sutra/model/metadata | Dapatkan model metadata dari sutra retriever | (Parameter ditangani oleh sutra retriever) |
| MENDAPATKAN | /API/Shutdown | Memulai shutdown server | Tidak ada |
| POS | /API/utils/log | Tulis untuk log | Tubuh json dengan detail log |
| POS | /API/sutra/embedding | Dapatkan embedding dari sutra retriever | (Parameter ditangani oleh sutra retriever) |
curl http://localhost:6568/api/silk/query?q=Tell%20me%20about%20the%20documents&limit=3&memorybank=docs Contoh Dabarqus dalam aksi dapat ditemukan dalam repo ini di bawah contoh .
