VectorDB Plugin for KoboldAI

Base de datos de vector de Koboldcpp

• Debido a las restricciones de tiempo y la capacidad de probar, solo admitido en los sistemas Windows con una Nvidia GPU .

Requisitos

1. ? Python 3.11 (Pytorch no es compatible con Python 3.12 todavía)

2. ? Git

3. ? Git Almacenamiento de archivos grandes.

4. Pandoc.

5. CUDA es técnicamente "requerido", pero el script de instalación lo instala automáticamente. No necesita tenerlo instalado en todo el sistema.

6. CONSTRUCE HERRAMIENTOS.

   Ciertas dependencias no tienen "ruedas" precompiladas, por lo que debe construirlas con algo como Microsoft Build Tools y/o Visual Studio. Recomiendo Visual Studio, pero asegúrese de seleccionar la extensión "Desarrollo de escritorio con C ++" y marque las cuatro casillas a la derecha que contiene "SDK".

   Error de ejemplo en Windows

   
   Solución de ejemplo en Windows

   

INSTALACIÓN

Paso 1

Descargue la última "versión", extraiga su contenido, navegue a la carpeta "SRC" para ejecutar los comandos a continuación.

• Nota: Si clona este repositorio, no obtendrá la última versión. En cambio, desarrollará versiones de este programa que pueden o no ser estables.

Paso 2

Navegue a la carpeta src , abra un símbolo del sistema y cree un entorno virtual:

 python -m venv .

Paso 3

Active el entorno virtual:

 .Scriptsactivate

Paso 4

Configuración de ejecución:

 python setup_windows.py

Si necesita intentar reinstalar por cualquier motivo, ejecute este comando para desinstalar todo e intente nuevamente: pip freeze > requirements_uninstall.txt && pip uninstall -r requirements_uninstall.txt -y && del requirements_uninstall.txt

Paso 5

 python gui.py

USO

Comienza Kobold

• Navegue a GitHub de Koboldcpp y descargue el archivo .exe apropiado o ejecute python download_kobold.py desde su entorno virtual.
• Seleccione cualquiera/todas las opciones que desee e inicie el programa, pero asegúrese de desmarcar la opción Abrir el navegador. También puede verificar el modo "silencioso", que evita que la ventana del símbolo del sistema de Kobold imprima todo por duplicado.