VectorDB Plugin for KoboldAI

KOBOLDCPP -Vektor -Datenbank

• Aufgrund von Zeitbeschränkungen und Testfähigkeit, die nur auf Windows -Systemen mit einer Nvidia GPU unterstützt werden.

ANFORDERUNGEN

1. Python 3.11 (Pytorch ist noch nicht mit Python 3.12 kompatibel)

2. Git

3. Git großer Dateispeicher.

4. Pandoc.

5. CUDA ist technisch "erforderlich", aber das Installationsskript installiert es automatisch. Sie müssen es nicht systemweit installieren lassen.

6. Werkzeuge erstellen.

   Bestimmte Abhängigkeiten haben keine vorgefertigten "Räder" vor dem Kompilieren, daher müssen Sie sie mit so etwas wie Microsoft Build-Tools und/oder Visual Studio erstellen. Ich empfehle Visual Studio, aber stellen Sie sicher, dass Sie die Erweiterung "Desktop -Entwicklung mit C ++" -Einweiterung auswählen und die vier Kästchen auf der rechten Seite "SDK" überprüfen.

   Beispielfehler unter Windows

   
   Beispiellösung unter Windows

   

INSTALLATION

Schritt 1

Laden Sie die neueste "Release" herunter, extrahieren Sie ihren Inhalt und navigieren Sie zum Ordner "SRC", um die folgenden Befehle auszuführen.

• Hinweis: Wenn Sie dieses Repository klonen, erhalten Sie nicht die neueste Version. Stattdessen werden Sie sich entwickeln, die Versionen dieses Programms entwickeln, die möglicherweise stabil sind oder nicht.

Schritt 2

Navigieren Sie zum src -Ordner, öffnen Sie eine Eingabeaufforderung und erstellen Sie eine virtuelle Umgebung:

 python -m venv .

Schritt 3

Aktivieren Sie die virtuelle Umgebung:

 .Scriptsactivate

Schritt 4

Setup ausführen:

 python setup_windows.py

Wenn Sie versuchen müssen pip freeze > requirements_uninstall.txt && pip uninstall -r requirements_uninstall.txt -y && del requirements_uninstall.txt aus irgendeinem Grund neu zu installieren

Schritt 5

 python gui.py

VERWENDUNG

Starten Sie Kobold

• Navigieren Sie zu Koboldcpps GitHub und laden Sie die entsprechende .exe -Datei herunter oder führen Sie python download_kobold.py stattdessen aus Ihrer virtuellen Umgebung aus.
• Wählen Sie alle gewünschten/alle Optionen aus und starten Sie das Programm. Stellen Sie jedoch sicher, dass Sie die Option Open Browser deaktivieren. Sie können auch den "ruhigen" Modus überprüfen, der verhindert, dass das Eingabeaufforderungsfenster des Kobold alles doppelt druckt.