VectorDB Plugin for KoboldAI

Database vektor koboldcpp

• Karena batasan waktu dan kemampuan untuk menguji, hanya didukung pada sistem Windows dengan Nvidia GPU .

PERSYARATAN

1. ? Python 3.11 (Pytorch belum kompatibel dengan Python 3.12)

2. ? Git

3. ? Git penyimpanan file besar.

4. Pandoc.

5. CUDA secara teknis "diperlukan" tetapi skrip instalasi menginstalnya secara otomatis. Anda tidak perlu menginstalnya di seluruh sistem.

6. Membangun alat.

   Ketergantungan tertentu tidak memiliki "roda" yang telah dikompilasi sebelumnya sehingga Anda harus membangunnya dengan sesuatu seperti Microsoft Build Tools dan/atau Visual Studio. Saya merekomendasikan Visual Studio, tetapi pastikan untuk memilih Ekstensi "Desktop Development dengan C ++" dan centang empat kotak di sebelah kanan yang berisi "SDK."

   Contoh Kesalahan pada Windows

   
   Contoh Solusi di Windows

   

INSTALASI

Langkah 1

Unduh "rilis" terbaru, ekstrak isinya, navigasikan ke folder "SRC" untuk menjalankan perintah di bawah ini.

• Catatan: Jika Anda mengkloning repositori ini, Anda tidak akan mendapatkan rilis terbaru. Sebaliknya, Anda akan mengembangkan versi program ini yang mungkin atau mungkin tidak stabil.

Langkah 2

Arahkan ke folder src , buka prompt perintah, dan buat lingkungan virtual:

 python -m venv .

Langkah 3

Aktifkan lingkungan virtual:

 .Scriptsactivate

Langkah 4

Jalankan Pengaturan:

 python setup_windows.py

Jika Anda perlu mencoba menginstal ulang dengan alasan apa pun, jalankan perintah ini untuk menghapus semuanya dan mencoba lagi: pip freeze > requirements_uninstall.txt && pip uninstall -r requirements_uninstall.txt -y && del requirements_uninstall.txt

Langkah 5

 python gui.py

PENGGUNAAN

Mulai Kobold

• Arahkan ke GitHub Koboldcpp dan unduh file .exe yang sesuai atau jalankan python download_kobold.py dari lingkungan virtual Anda sebagai gantinya.
• Pilih semua/semua opsi yang Anda inginkan dan mulai program, tetapi pastikan dan hapus centang opsi Browser Open. Anda juga dapat memeriksa mode "tenang", yang mencegah jendela prompt perintah Kobold dari mencetak semuanya dalam duplikat.