RAG based Intelligent Conversational AI Agent for Knowledge Extraction Using LangChain Gemini LLM

RAG -basierte intelligente Konversations -KI

Im obigen Google Colab enthalten detaillierten Code

RELIEVAL-AUGmented-Generation (LAG) ist ein Rahmen, das das Abrufen von Informationsabläufen mit generativer KI kombiniert. Es ermöglicht Modellen, relevante Informationen aus externen Quellen oder Datenbanken abzurufen und diese Daten zu verwenden, um genauere und kontextbezogene Antworten zu generieren. Durch die Nutzung von Abruf und Generation verbessert Rag die Genauigkeit und Zuverlässigkeit von KI-Modellen, insbesondere bei der Bereitstellung aktueller Informationen oder der Bearbeitung komplexer Fragen.

Workflow

Dieses Projekt bietet einen AI-basierten Konversationsassistenten, der die Abruf Generation (RAG) nutzt, um Wissen aus PDF-Dokumenten zu extrahieren. Das System kombiniert Texteinbettungen, Vektorsuche und LLM, um Antworten auf Benutzerfragen zu geben. Unten finden Sie einen detaillierten Schritt-für-Schritt-Workflow über die Funktionsweise der Anwendung:

1. Das PDF -Dokument hochladen

• Benutzer laden eine PDF -Datei über den auf Notizbuch erwähnten Pfad hoch. Die hochgeladene Datei wird verarbeitet, um den Text mit pdfplumber zu extrahieren, einer Python -Bibliothek zum Extrahieren von Text aus PDFs.

2. Textextraktion

• Das Notizbuch verwendet die pdfplumber -Bibliothek, um Rohtext aus dem hochgeladenen PDF zu extrahieren. Jede Seite des Dokuments ist analysiert und der resultierende Text wird für die weitere Verarbeitung erstellt.

3. Text Chunking

• Der extrahierte Text wird unter Verwendung von RecursiveCharacterTextSplitter in kleinere Stücke aufgeteilt. Dies stellt sicher, dass der Inhalt für Einbettungen und Abrufen überschaubar ist, typischerweise mit einer Stücke von 500 Zeichen und einer Überlappung von 50 Zeichen.

4. Einbettungserzeugung

• Der geschnittene Text wird unter Verwendung von SpacyEmbeddings in numerische Einbettungen umgewandelt. Diese Einbettungen repräsentieren die semantische Bedeutung der Stücke und ermöglichen eine effiziente Suche.

5. Vektor Store mit Chroma

• Eine Vektordatenbank wird mit der Chroma -Bibliothek erstellt, in der die Einbettungen gespeichert werden. Die Vektordatenbank ermöglicht das schnelle und effiziente Abrufen relevanter Informationen basierend auf Benutzeranfragen.

6. Konversations -Abrufkette

• Die ConversationalRetrievalChain wird mit LangChain etabliert und kombiniert die in Chroma gespeicherten Einbettungsdings mit einem Gesprächspuffer, um den Chat -Historie und -kontext zu verfolgen.

7. LLM -Interaktion

• Das Notebook integriert die ChatGoogleGenerativeAI (Google Gemini LLM), um relevante und intelligente Antworten auf die Fragen des Benutzers zu generieren, basierend auf den abgerufenen Textbrocken aus dem Vektorspeicher.

8. Benutzerabfrage und AI -Antwort

• Benutzer können ihre Fragen zum hochgeladenen PDF -Dokument eingeben, und das System reagiert, indem sie die relevantesten Brocken aus dem Vektorspeicher abrufen und eine Antwort mit dem LLM generieren. Die Gesprächsgeschichte ist für den Kontext erhalten.

9. Ausstellung der Gesprächsgeschichte

• Die Funktionen eines erweiterbaren Abschnitts, in dem Benutzer den Gesprächsgeschichte anzeigen können. Diese Transparenz ermöglicht es den Benutzern, frühere Abfragen und Antworten zu überdenken und ein besseres Verständnis des Kontextes und des Flusses der Interaktion zu fördern.

Lagfluss im Prozess

Bedeutung

1. Effizientes Wissensabruf : Durch die Nutzung der Kraft des Lags kombiniert das System Abruf und Generation, um spezifische Fragen genau auf der Grundlage des Inhalts hochgeladener PDF -Dokumente zu beantworten.

2. Skalierbarkeit und Flexibilität : Mit Text -Chunking und Einbettungen kann die App große Dokumente verarbeiten und gleichzeitig ein schnelles und präzises Informationsabruf sicherstellen.

3. Konversations -KI : Das Gesprächsgeschichte wird das System interaktiver, da es frühere Fragen und Antworten im Auge behält und den Kontext über lange Gespräche aufrechterhält.

4. Integration moderner KI-Tools : Dieses Projekt zeigt die Verwendung fortschrittlicher Tools wie Chroma für Vektorspeicher, LangChain für das Konversationsmanagement und Gemini LLM von Google zur Generierung menschlicher Antworten.