CheatSheet Langchain Project

AI -Agentenprojekt: Automatisierte Datenextraktion

Dieses Projekt nutzt einen AI -Agenten für die automatisierte Datenextraktion und -verarbeitung. Mit dem System können Benutzer eine CSV -Datei hochladen oder eine Verbindung zu einem Google -Blatt herstellen und dann mit den Daten mit natürlichen Sprachabfragen interagieren. Der Agent generiert Python -Code basierend auf der Abfrage, führt den Code aus, um die Daten zu manipulieren, und präsentiert das Ergebnis in verschiedenen Formaten wie Tabelle, Plot oder String oder kratzt nützliche Daten für Ihre Datei.

Inhaltstabelle

• Einführung
• Merkmale
• Installation
• Verwendung
• Projektstruktur
• Fehlerbehandlung
• Lizenzen

Merkmale

• Auswahl der Datenquelle: Wählen Sie das Hochladen einer CSV -Datei oder das Verbinden eines Google -Blattes.
• Abfragen für natürliche Sprache: Interagieren Sie mit den Daten mit natürlichen Sprachabfragen (z. B. "Holen Sie sich mir die E -Mail -Adresse von {Company}").
• Dynamische Codegenerierung: Das System generiert Python -Code basierend auf der Abfrage, die dann ausgeführt wird, um die Daten zu manipulieren.
• Ausgangsformate: Die Ergebnisse werden je nach Abfrage in verschiedenen Formaten wie Tabellen, Diagrammen (Balken/Kuchen) oder Zeichenfolgen angezeigt.
• Fehlerbehandlung: Robuster Fehlerbehandlung sorgt für eine reibungslose Benutzerinteraktion auch bei Problemen wie ungültigen Dateiformaten oder Datenmanipulationsfehlern.

Bereitstellungslink

• Cheatsheet -App auf Streamlit

Installation

Um dieses Projekt durchzuführen, benötigen Sie Python 3.7 oder höher. Das Projekt verwendet mehrere Bibliotheken von Drittanbietern, die über PIP installiert werden können.

• Klonen Sie das Repo

    git clone https://github.com/UjjawalGusain/CheatSheet-Langchain-Project.git
    cd Langchain-Web-Agent

• Abhängigkeiten installieren: Erstellen Sie eine virtuelle Umgebung und installieren Sie die erforderlichen Bibliotheken:

    python3 -m venv venv
    source venv/bin/activate  # On Windows, use `venvScriptsactivate`
    pip install -r requirements.txt

• Richten Sie die Google Sheets API ein:

  • Rufen Sie Ihre Google API -Anmeldeinformationen ein, indem Sie die Schritte in der Google Sheets -API -Dokumentation befolgen.
  • Laden Sie die Datei connordinicals.json herunter und platzieren Sie sie in das Stammverzeichnis des Projekts.

• Führen Sie die Anwendung aus:

    streamlit run dashboard.py

Nach dem Ausführen dieses Befehls beginnt die Anwendung und Sie können über Ihren Browser darauf zugreifen.

API

In diesem Projekt werden mehrere APIs verwendet, um unterschiedliche Operationen zu verarbeiten, einschließlich Datenkratzen und Interaktion mit dem Modell. Die integrierten APIs sind:

• GROQ -API:

  • Modell: LAMA-3.1-70B-ESSATIL

  • Zweck: Die GROQ -API wird verwendet, um mit dem großen Sprachmodell zu interagieren, um Antworten zu generieren, Vorgänge auf dem Datensatz auszuführen und komplexe Abfragen zu bearbeiten. Das Modell LLAMA-3.1-70B-Conversatile wird für ein effizientes Verständnis und die Erzeugung natürlicher Sprache verwendet, um Abfragen zu verarbeiten und umsetzbare Ergebnisse zu erzielen.

  • Verwendung:

    • Die API wird aufgerufen, Abfragen zu verarbeiten, die sich auf die Daten beziehen, einschließlich Vorgänge wie Extraktion, Filterung und Generierung von Zusammenfassungen. Die Antwort des Modells hilft bei der Gestaltung der auf den Datensatz angewendeten Vorgänge.

    • Die für das Modell verwendeten Eingabeaufforderungen sind in einem bestimmten Format strukturiert, um die gewünschte Antwort zu gewährleisten und Fehler während der Ausführung zu vermeiden.

• Scraper -API:

  • Zweck: Mit der API von Scraper wird zusätzliche Daten aus externen Quellen erfasst und diese Daten an den Datensatz angehängt.

  • Verwendung:

    • Sobald der Datensatz verarbeitet und die erforderlichen Vorgänge ausgeführt werden, hilft die API der Schabrierung, die Daten mit zusätzlichen Spalten aus externen Ressourcen zu bereichern. Dies erfolgt durch Hinzufügen einer "abgekratzten" Spalte zum Datenrahmen.

Verwendung

Daten hochladen:

• Wählen Sie eine Datenquelle aus der Seitenleiste aus: Laden Sie entweder CSV hoch oder verbinden Sie Google Sheets.

  • Wenn Sie ein CSV hochladen, wählen Sie eine Datei zum Hochladen aus. Wenn Sie eine Verbindung zu Google Sheets herstellen, geben Sie die URL des Blattes an.

• Geben Sie eine Abfrage ein:

  • Geben Sie im Hauptbereich der App eine natürliche Sprachabfrage im Eingabefeld ein. Zum Beispiel "Holen Sie sich mir die E -Mail -Adresse von {Company}".

• Ergebnisse anzeigen:

  • Basierend auf der Abfrage generiert der AI -Agent den Python -Code, wendet ihn auf die Daten an und gibt das Ergebnis zurück. Die Ergebnisse können als Tabellen, Diagramme oder Zeichenfolgen angezeigt werden.

Herausforderungen, die auftreten

• Einsprechende Formatierung und Komplexität: Eine bedeutende Herausforderung bestand darin, sicherzustellen, dass die an das Modell übergingenden Eingabeaufforderungen korrekt formatiert und vom System behandelt wurden. Das Modell, das erforderlich ist, um genaue Antworten basierend auf der Struktur und Komplexität der Abfragen zu erzeugen. Es war auch wichtig, Klarheit und Konsistenz in der Art und Weise, wie Informationen extrahiert wurden, aufrechtzuerhalten und dem Benutzer vorgestellt wurden, insbesondere mit komplexen Abfragen.

• Verwalten von Sicherheitsrisiken mit LLMs: LLMs der Nutzung von Großsprachenmodellen (LLMs) führten potenzielle Sicherheitsrisiken ein, insbesondere die Datenschutzdatenschutz und den Umgang mit sensiblen Informationen. Es war ein kritischer Aspekt des Entwicklungsprozesses. Wir mussten Schutzmaßnahmen implementieren, um diese Risiken zu minimieren, während wir LLMs zum Generieren von Code und zur Verarbeitung von Daten verwenden.

Demo -Video des Projekts:

Aufnahme_langchain.1.mp4