qa_llm

Frage-Antwort-Pipeline mit Vectordb- und Großsprachenmodellen (LLM)

Überblick:

Willkommen in der Frage-Antwort-Pipeline mit VectordB und großartigen Language-Modellen (LLM). Dieses Projekt zielt darauf ab, eine effiziente und skalierbare Pipeline für Fragestandsaufgaben unter Verwendung von Chromadb zu erstellen, eine Open-Source-Vektor-Datenbank, in Verbindung mit LLAMA2, einem Open-Source-großartigen großen Sprachmodell (LLM).

Workflow:

1. Benutzereingabe: Benutzer geben Textdatenquellen in Formaten wie .pdf an. Diese Dokumente dienen als Grundlage für die Generierung von Antworten.

2. Dokumentlade: Der Dokumentenlader von Langchain wird verwendet, um die bereitgestellten Dokumente effizient zu laden und vorzubereiten, um die Kompatibilität mit nachgeschalteten Aufgaben zu gewährleisten.

3. Dokument-Chunking: Die geladenen Dokumente sind in kleinere, überschaubare Stücke unterteilt, um die Effizienz des Frage-Antwortenprozesses zu verbessern.

4. Einbettenspeicher in Vectordb (Chromadb): Die Einbettungen der Stücke werden in Chromadb, der zugrunde liegenden Technologie von Vectordb, generiert und gespeichert, wodurch ein schnelles und genaues Abrufen des Informationen ermöglicht wird.

5. Abfrageverarbeitung: Benutzeranfragen werden in Einbettungen umgewandelt, sodass ein nahtloser Vergleich mit den gespeicherten Dokument -Einbettungen ermöglicht wird.

6. Vector-Datenbanksuche: Das VectordB wird mit den generierten Emetten gefragt, um relevante Informationsbrocken abzurufen und den Frage-Antwortenprozess zu optimieren.

7. LLM-Verarbeitung (LLAMA2): Die abgerufenen Einbettungen werden an LLAMA2, ein LLM, übergeben, das kontextbezogene und genaue Antworten auf Benutzeranfragen generiert.

Erste Schritte

Um die Fragestart-Answer-Pipeline zu starten, müssen Benutzer ihre Textquellen in unterstützten Formaten bereitstellen (derzeit unterstütztes Format sind: PDF, CSV, HTML, XLSX, DOCX, XML, JSON ). Befolgen Sie den nächsten Abschnitt, um die ordnungsgemäße Installation und Konfiguration von Abhängigkeiten sicherzustellen.

Wie man Führer ausführt

Befolgen Sie die folgenden Schritte, um die Frage-Answer-Pipeline erfolgreich auszuführen:

1. Abhängigkeiten installieren: Stellen Sie sicher, dass alle erforderlichen Abhängigkeiten installiert sind. Führen Sie die folgenden Befehle in einer Notebook -Zelle aus:

    !pip install langchain
   !pip install PyPDF
   !pip install sentence_transformers
   !pip install chromadb
   !pip install accelerate
   !pip install bitsandbytes
   !pip install jq
   !pip install unstructured
   

2. Anpassen der Parameter:

   Öffnen Sie das Notizbuch und suchen Sie die folgenden Parameter:

   • JQ_SCHEMA: Passen Sie diesen Parameter gemäß Ihrem Datenschema an. Definieren Sie die Struktur Ihrer Textdaten für die ordnungsgemäße Belastung und Verarbeitung.

   • input_path: Geben Sie den Pfad zu Ihrer Textdatenquelle an, z. B. eine .pdf -Datei. Stellen Sie sicher, dass der Pfad korrekt auf Ihr Dokument eingestellt ist.

3. Umarmen Sie das Gesichtsautorisierungs -Token: Erhalten Sie ein Autorisierungs -Token vom Umarmungsgesicht zum Herunterladen des LLAMA2 -Modells. Dieses Token ist entscheidend für den Zugriff auf das Modell. Stellen Sie das Token im entsprechenden Abschnitt des Notizbuchs ein.

4. Führen Sie das Notizbuch aus: Führen Sie die Jupyter -Notebook -Zelle per Cell aus. Stellen Sie sicher, dass jede Zelle ohne Fehler erfolgreich ausgeführt wird.

Beiträge

Wir begrüßen Beiträge und Feedback der Community. Unabhängig davon, ob Sie Probleme identifizieren, Vorschläge für Verbesserungen haben oder die Funktionalität erweitern möchten, ist Ihre Eingabe für uns wertvoll. Fühlen Sie sich frei, zum Projekt beizutragen. Vielen Dank für die Erkundung unseres Projekts.