VectorDB Plugin for KoboldAI

KoboldCPP矢量数据库

• 由于时间的限制和测试能力，仅在Windows系统上支持Nvidia GPU 。

要求

1. ？

2. git

3. git大文件存储。

4. 潘多克。

5. CUDA在技术上是“必需的”，但安装脚本自动安装它。您无需将其安装在系统范围内。

6. 构建工具。

   某些依赖项没有预编译“车轮”，因此您必须使用Microsoft构建工具和/或Visual Studio之类的东西来构建它们。我建议Visual Studio，但请确保选择“带有C ++的桌面开发”扩展程序，然后选中包含“ SDK”的右侧的四个框。

   Windows上的示例错误

   
   Windows上的示例解决方案

   

安装

步骤1

下载最新的“发行版”，提取其内容，导航到“ SRC”文件夹以运行下面的命令。

• 注意：如果您克隆此存储库，则将无法获得最新版本。相反，您将开发可能稳定的该程序的版本。

步骤2

导航到src文件夹，打开命令提示符，然后创建一个虚拟环境：

 python -m venv .

步骤3

激活虚拟环境：

 .Scriptsactivate

步骤4

运行设置：

 python setup_windows.py

如果您需要尝试重新安装任何原因，请运行此命令以卸载所有内容，然后重试： pip freeze > requirements_uninstall.txt && pip uninstall -r requirements_uninstall.txt -y && del requirements_uninstall.txt

步骤5

 python gui.py

用法

开始Kobold

• 导航到KoboldCPP的GitHub并下载适当的.exe文件或从虚拟环境中运行python download_kobold.py 。
• 选择您想要的任何/所有选项并启动程序，但请确保并取消选中“打开浏览器”选项。您还可以检查“安静”模式，该模式可以防止Kobold的命令提示符窗口重复打印所有内容。