VectorDB Plugin for KoboldAI

KoboldCPP矢量數據庫

• 由於時間的限制和測試能力，僅在Windows系統上支持Nvidia GPU 。

要求

1. ？

2. git

3. git大文件存儲。

4. 潘多克。

5. CUDA在技術上是“必需的”，但安裝腳本自動安裝它。您無需將其安裝在系統範圍內。

6. 構建工具。

   某些依賴項沒有預編譯“車輪”，因此您必須使用Microsoft構建工具和/或Visual Studio之類的東西來構建它們。我建議Visual Studio，但請確保選擇“帶有C ++的桌面開發”擴展程序，然後選中包含“ SDK”的右側的四個框。

   Windows上的示例錯誤

   
   Windows上的示例解決方案

   

安裝

步驟1

下載最新的“發行版”，提取其內容，導航到“ SRC”文件夾以運行下面的命令。

• 注意：如果您克隆此存儲庫，則將無法獲得最新版本。相反，您將開發可能穩定的該程序的版本。

步驟2

導航到src文件夾，打開命令提示符，然後創建一個虛擬環境：

 python -m venv .

步驟3

激活虛擬環境：

 .Scriptsactivate

步驟4

運行設置：

 python setup_windows.py

如果您需要嘗試重新安裝任何原因，請運行此命令以卸載所有內容，然後重試： pip freeze > requirements_uninstall.txt && pip uninstall -r requirements_uninstall.txt -y && del requirements_uninstall.txt

步驟5

 python gui.py

用法

開始Kobold

• 導航到KoboldCPP的GitHub並下載適當的.exe文件或從虛擬環境中運行python download_kobold.py 。
• 選擇您想要的任何/所有選項並啟動程序，但請確保並取消選中“打開瀏覽器”選項。您還可以檢查“安靜”模式，該模式可以防止Kobold的命令提示符窗口重複打印所有內容。