airgapped offfline rag

Offline -Lappen gefützt

Dieses Projekt von Vincent KOC implementiert ein RAG-Basis-Fragen-Antworten-System für Dokumente. Es verwendet Lama 3, Mistral- und Gemini -Modelle für lokale Inferenz mit Lama C ++, Langchain für Orchestrierung, Chromadb für den Vektorspeicher und die Stromversorgung für die Benutzeroberfläche.

Inhaltsverzeichnis

• Offline -Lappen gefützt
  • Inhaltsverzeichnis
  • Aufstellen
  • Ausführen der Anwendung
    • Lokal
    • Verwenden von Docker
  • Verwendung
  • Konfiguration
  • Merkmale
    • Unterstützte Funktionen
    • Zukünftige Funktionen
  • Beitragen
  • Lizenz
  • Anerkennung

Aufstellen

1. Stellen Sie sicher, dass Python 3.9 installiert ist : Sie können pyenv verwenden:

    pyenv install 3.9.16
   pyenv local 3.9.16
   pyenv rehash
   

2. Erstellen Sie eine virtuelle Umgebung und installieren Sie Abhängigkeiten :

    make setup
   

3. Herunterladen Modelle : Laden Sie die Modelle LLAMA 3 (8B) und Mistral (7B) im GGUF -Format herunter und platzieren Sie sie in die models/ Verzeichnis. TheBloke on Sharging Face hat die Modelle hier geteilt:

   • Mistral-7b-Instruct-V0.2-GUF
   • LAMA-PRO-8B-ISTRUCT-GGUF

   Die Modelle von unsloth wurden ebenfalls getestet und können hier gefunden werden:

   • Gemma-2-2b-it.q2_k.gguf
   • LLAMA-3.2-3B-ISTRUCT-q2_K.GGUF

4. QDRANT -Satztransformatormodell : Dies wird beim ersten Lauf automatisch heruntergeladen. Wenn Sie den Airgack Rag lokal ausführen, führen Sie die Codebasis am besten mit dem Internetzugang aus, um das Modell herunterzuladen.

Ausführen der Anwendung

Lokal

 make run

Verwenden von Docker

 make docker-build
make docker-run

Verwendung

1. Laden Sie PDF -Dokumente mit dem Datei -Uploader hoch.
2. Wählen Sie das Modell aus, das Sie verwenden möchten (z. B. Mistral).
3. Geben Sie Ihre Frage in die Texteingabe ein.
4. Klicken Sie auf "Antwort generieren", um eine Antwort basierend auf dem Dokumentinhalt zu erhalten.

Konfiguration

Passen Sie die Einstellungen in config.yaml an, um Modellpfade, Chunk -Größen und andere Parameter zu ändern.

Merkmale

Unterstützte Funktionen

• Lokale Inferenz mit Lama C ++
• Modellunterstützung für Lama 3 (3 und 3.1)
• Modellunterstützung für Mistral
• Modellunterstützung für Gemini
• Unterstützung für quantisierte Modelle
• Upload und Verarbeitung von Dokument
• Frage-Antwort-System
• Satztransformatormodell für Vektorspeicher
• Integration mit stromloser für die Benutzeroberfläche
• Unterstützung für Streaming -Antworten

Zukünftige Funktionen

• Integration mit zusätzlichen Modellen (bald kommen)
• Unterstützen Sie Nicht-PDF-Dokumente (bald kommen)
• Unterstützung für Bilddokumente (bald kommt)
• Unterstützung für die Visualisierung von Einbettungen (bald kommen)
• Unterstützung für die Chat -Geschichte (bald kommt)
• Erweiterte Benutzeroberfläche (bald kommt)
• Unterstützung für multimodale Dokumente (in Kürze kommt)
• Exportieren und Importieren von Lappenkonfigurationen (bald kommen)
• Eine REST -API aufdecken (bald kommt)
• Beobachtbarkeit (bald kommen)

Beitragen

Beiträge sind willkommen! Bitte geben Sie das Repository aus und senden Sie eine Pull -Anfrage. Für wichtige Änderungen öffnen Sie zuerst ein Problem, um zu besprechen, was Sie ändern möchten.

Lizenz

Dieses Projekt ist gemäß der GNU General Public Lizenz v3.0 (GPLV3) lizenziert. Weitere Informationen finden Sie in der Lizenzdatei.

Das heisst:

• Sie können diese Software frei verwenden, ändern und verteilen.
• Wenn Sie diese Software ändern oder erweitern, müssen Sie Ihre Änderungen unter der GPL veröffentlichen.
• Sie müssen den ursprünglichen Urheberrecht und den vollständigen Text der GPL -Lizenz einfügen.
• Es gibt keine Garantie für diese kostenlose Software.

Weitere Informationen finden Sie unter GNU GPL V3.

Anerkennung

• Vielen Dank an TheBloke und Loth für das Teilen der quantisierten Modelle.
• Dieses Projekt verwendet verschiedene Open-Source-Bibliotheken. Weitere Informationen finden Sie unter Anforderungen.txt.