VectorDB Plugin for LM Studio

Aufgeladene Vektordatenbank!

Anforderungen • Installation • Verwenden des Programms • Fordern Sie eine Funktion an oder melden Sie einen Fehler • Kontakt

Mit diesem Repository können Sie eine Vektor -Datenbank für einen relevanten Kontext in einer Vielzahl von Dokumenten erstellen und durchsuchen und dann eine Antwort aus dem großartigen großartigen Modell erhalten, das genauer ist. Dies wird allgemein als "Abrufer Generation" (LAG) bezeichnet und reduziert die Halluzinationen aus der LLM drastisch! Sie können sich ein Einführungsvideo ansehen oder einen mittleren Artikel über das Programm lesen.

Auf einen Blick

Besonderheit	Details
Allgemeine Textextraktion	.pdf .docx .epub .txt .html .enex .eml .msg .csv .xls .xlsx .rtf .odt
Modelle "Vision", um Bildzusammenfassungen zu erstellen	.png .jpg .jpeg .bmp .gif .tif .tiff
Transkribieren Sie Audiodateien in SMS transkribieren Sie sie	.mp3 .wav .m4a .ogg .wma .flac und mehr ...
Geben Sie Ihre Anfrage ein oder sprechen Sie	Verwenden eines leistungsstarken WhisperS2T -Sprachrekorders
Holen Sie sich eine Antwort von einem LLM	LM Studio Local Models Chat GPT (bald kommt bald)
Text zur Sprache der Antwort der LLM -Antwort	Bark WhisperSpeech ChatTTS Google TTS
CPU- und Nvidia -GPU -Unterstützung	Auf der Suche nach Tester oder Mitwirkenden für AMD und Intel -GPUs sowie Metal/MPS/MLX

Anforderungen

? Python 3.11 •? Git •? GIT -LFS • PANDOC • Compiler

Der obige Link lädt Visual Studio als Beispiel herunter. Stellen Sie jedoch sicher, dass Sie die erforderlichen SDKs installieren.

Beispielfehler Wenn kein Compiler installiert ist:

Beispiel für die Installation der richtigen SDKs:

Zurück nach oben

Installation

Schritt 1

Laden Sie die neueste "Release" herunter, extrahieren Sie ihren Inhalt und öffnen Sie den Ordner "SRC":

• Hinweis: Wenn Sie dieses Repository klonen, erhalten Sie die Entwicklungsversion, die möglicherweise stabil ist oder nicht.

Der letzte Versuch, zu unterstützen? Linux und? MacOS ist veröffentlicht V3.5.2. Stellen Sie sicher, dass Sie dort die Anweisungen readme.md befolgen.

Schritt 2

Erstellen Sie im src -Ordner eine virtuelle Umgebung:

 python -m venv .

Schritt 3

Aktivieren Sie die virtuelle Umgebung:

 .Scriptsactivate

Schritt 4

Führen Sie das Setup -Skript aus:

Nur für Windows vorerst.

 python setup_windows.py

Schritt 5 - wichtig

Um die Funktion "Ask Jeeves" zu verwenden, müssen Sie:

1. Gehen Sie in den Assets ;
2. Klicken Sie mit der rechten Maustaste auf koboldcpp_nocuda.exe ;
3. Überprüfen Sie das Kontrollkästchen "Entblock"
4. Klicken Sie auf OK.

Wenn das Kontrollkästchen "Entblock" aus irgendeinem Grund nicht sichtbar ist, besteht eine andere Option darin, die .gguf koboldcpp_nocuda.exe im Verzeichnis von Assets im Assets -Verzeichnis auszuwählen und das Programm zu starten. Dies sollte (zumindest unter Windows) versuchen, das Kobold -Programm zu starten, das eine Option zum "zuzulassen" und/oder eine Ausnahme für "Windows Defender" auf Ihrem Computer auszulösen. Wählen Sie "zulassen" oder welche andere von Ihnen erhaltene Nachricht, die sie für alle zukünftigen Interaktionen ermöglicht. Bitte beachten Sie, dass Sie dies tun sollten, bevor Sie versuchen, die Ask Jeeves -Funktionalität in diesem Programm auszuführen. Ansonsten kann es nicht funktionieren.

Senden Sie ein GitHub Issue , wenn Sie auf Probleme stoßen, da Ask Jeeves eine relativ neue Funktion ist.

Zurück nach oben

Verwendung

Wichtig für detailliertere Anweisungen fragen Sie einfach Jeeves!

Aktivieren Sie die virtuelle Umgebung und starten Sie das Programm

Jedes Mal, wenn Sie das Programm verwenden möchten, müssen Sie die virtuelle Umgebung aktivieren:

 .Scriptsactivate

 python gui.py

Laden Sie das Vektormodell herunter

• Wählen Sie ein Vektor-/Einbettungsmodell auf der Models Tab aus und laden Sie sie herunter.

Erstellen Sie eine Vektordatenbank

Dieses Programm extrahiert den Text aus einer Vielzahl von Dateitypen und stellt sie in die Vektor -Datenbank ein. Sie können außerdem zusammenfassen, dass Bilder und Transkriptionen von Audiodateien in die Datenbank eingefügt werden.

Eingabe allgemeiner Dateitypen

Wählen Sie auf der Registerkarte Create Database Dateien aus, die Sie zur Datenbank hinzufügen möchten. Sie können so oft auf die Schaltfläche Choose Files klicken, wie Sie möchten.

Bilder eingeben

Dieses Programm verwendet "Vision" -Modelle, um Zusammenfassungen von Bildern zu erstellen, die dann in die Datenbank eingegeben und gesucht werden können. Bevor ich Bilder eingibt, empfehle ich Ihnen dringend, die verschiedenen Vision -Modelle für diejenigen zu testen, die Ihnen am besten gefallen.

Um ein Visionsmodell zu testen:

1. Wählen Sie auf der Registerkarte Create Database ein oder mehrere Bilder aus.
2. Wählen Sie auf der Registerkarte Settings das Sichtmodell aus, das Sie testen möchten.
3. Verarbeiten Sie die Bilder auf der Registerkarte Tools .

Nachdem Sie festgestellt haben, welches Visionsmodell Sie mögen, fügen Sie der Datenbank Bilder hinzu, indem Sie sie wie jede andere Datei auf der Registerkarte Create Database auswählen. Wenn Sie schließlich die Datenbank erstellen, werden sie automatisch verarbeitet.

Eingabe von Audiodateien

Audiodateien können transkribiert und in die zu durchsuchende Datenbank eingerichtet werden. Bevor ich eine lange Audiodatei transkribiert habe, empfehle ich dringend, die verschiedenen Whisper auf einer kürzeren Audio -Datei zu testen und mit verschiedenen batch zu experimentieren. Ihr Ziel sollte es sein, ein Whisper zu verwenden, wie Ihre GPU unterstützt, und dann die Chargengröße einzustellen, um die VRAM -Verwendung in Ihrem verfügbaren VRAM zu halten.

So testen optimale Einstellungen:

1. Wählen Sie in der Registerkarte Tools eine kurze Audiodatei aus.
2. Wählen Sie ein Whisper -Modell.
3. Verarbeiten Sie die Audiodatei.
4. In der Registerkarte Create Database " doubleClick die gerade erstellte Transkription.
5. Überfliegen Sie das Feld page content um ein Gefühl dafür zu erhalten, ob die Transkription für Ihren Anwendungsfall genau genug ist oder ob Sie ein genaueres Whisper auswählen müssen.

Sobald Sie die optimalen Einstellungen für Ihr System erhalten haben, ist es an der Zeit, eine Audiodatei in die Datenbank zu transkribieren:

1. Löschen Sie in der Registerkarte Create Database alle Transkriptionen, die Sie nicht in die Datenbank eingeben möchten.
2. Erstellen Sie neue Transkriptionen, die Sie eingegeben haben (Wiederholen Sie dies für mehrere Dateien).

   Die Batch -Verarbeitung ist noch nicht verfügbar.

Tatsächlich erstellen Sie die Datenbank

• Laden Sie ein Vektormodell von der Registerkarte Models herunter.
• Erstellen Sie in der Registerkarte Create Database " die Datenbank.

Die Datenbank bearbeiten

• Mit der Registerkarte Manage Database können Sie den Inhalt aller von Ihnen erstellten Datenbanken anzeigen und löschen, wenn Sie möchten.

Fragen Sie eine Datenbank ab (kein LM Studio)

• Wählen Sie in der Registerkarte Query Database die Datenbank aus, die Sie im Menü Pulldown verwenden möchten.
• Geben Sie Ihre Frage ein, indem Sie sie eingeben oder die Schaltfläche Record Question verwenden.
• Überprüfen Sie das chunks only das Kontrollkästchen nur die entsprechenden Kontexte.
• Klicken Sie Submit Question .
  • Auf der Registerkarte Settings können Sie mehrere Einstellungen zur Abfrage der Datenbank ändern. Weitere Informationen finden Sie im Benutzerhandbuch.

Fragen Sie eine Datenbank mit einer Antwort von LM Studio ab

Dieses Programm erhält relevante Teile aus der Vector -Datenbank und leitet sie zusammen mit Ihrer Frage an LM Studio weiter, um eine Antwort zu erhalten!

• Führen Sie die oben genannten Schritte zum Eingeben einer Frage und der Auswahl der Einstellungen aus. Stellen Sie jedoch sicher, dass Chunks Only nicht überprüft sind.
• Starten Sie LM Studio und gehen Sie links zur Server -Registerkarte.
• Laden Sie ein Modell.
• Drehen Sie Apply Prompt Formatting auf "Aus" an.
• Stellen Sie auf der rechten Seite innerhalb Prompt Format sicher, dass alle folgenden Einstellungen leer sind:
  • System Message Prefix
  • System Message Suffix
  • User Message Prefix
  • User Message Suffix
• Laden Sie oben ein Modell in LM Studio.
• Passen Sie rechts die GPU Offload -Einstellung nach Ihren Wünschen an.
• Gehen Sie in meinem Programm zur Registerkarte Settings und wählen Sie das entsprechende Eingabeaufforderungformat für das in LM Studio geladene Modell aus und klicken Sie auf Update Settings .
• Klicken Sie in LM Studio auf Start Server.
• Klicken Sie auf der Registerkarte Query Database Submit Question .

Zurück nach oben

Fordern Sie eine Funktion an oder melden Sie einen Fehler

Fühlen Sie sich frei, Fehler zu melden oder Verbesserungen anzufordern, indem Sie ein Problem auf GitHub erstellen oder mich auf dem LM Studio Discord Server kontaktieren (siehe unten Link)!

KONTAKT

Alle Vorschläge (positiv und negativ) sind willkommen. "[email protected]" oder können Sie mir auf dem LM Studio Discord Server eine Nachricht senden.