marat agent data analysis

Marat - Datenanalyse unter Verwendung von LLM -basierten Agenten

Was

Marat ("MUH-RAH") ist ein Datenanalyse- und Visualisierungsinstrument, das die explorative Datenanalyse von allgemeinen kI-gesteuerten thematischen Erkenntnissen bis hin zu spezifischen Analyse- oder Visualisierungsanforderungen des Benutzers erleichtert.

Warum

Aktuelle Datenanalyse -Implementierungen, die die Konversations -KI nutzen, sind in erster Linie fragend, wobei der Benutzer mit einer personifizierten Version der Daten chatten. Dies ist zwar sehr nützlich, aber ich glaube, es maximiert den Nutzen von AI beim Verständnis von Daten nicht. Wir neigen dazu, Erkenntnisse und Informationen nicht zu betrachten, da separate Elemente in einer Dialektik interagiert haben, sondern als ein Verständnisnetzwerk, wobei Erkenntnisse miteinander verbunden sind, um ein vollständiges Verständnis der Datenerkenntnisse zu bilden. Dieses Projekt stellt einen Proof-of-Concept-Versuch dar, diese Ansicht der Analyse besser umzusetzen.

Wie

Marat verwendet ein NextJS-Frontend im Flow-Diagramm-Stil, um die Datenanalyse durch Python-basierte Klanggraph-Agenten zu visualisieren und zu koordinieren. Fastapi wird verwendet, um Informationen an die Python -Basis zu senden, wo die Analyse dann durchgeführt und an das nächste J -Frontend zurückgeschickt wird, um sich zu visualisieren und zu organisieren.

Probengebrauchsfall

Gehen Sie zur Haupt -Dashboard -Seite (localhost: 3000/Dashboard) und laden Sie Ihre CSV -Datendatei hoch, wenn Sie aufgefordert werden. Wenn die Frage auf Eingabeaufforderung angezeigt wird, können Sie entweder eine bestimmte Frage stellen (dh eine lineare Regression zwischen Größe und Kosten) oder eine breite Frage (dh mir alles erzählen, was zu Preisänderungen usw. beiträgt). Um einen Bericht zu generieren, wählen Sie die Knoten aus, die Sie einfügen möchten, und klicken Sie auf "Bericht über ausgewählte Knoten generieren". Der Bericht wird dann als PDF generiert und kann über die Seite /Berichte heruntergeladen werden.

Merkmale

• Breiter Spektrum an Analysoptionen : Regressionsanalysen, Plotly -Visualisierungen, Clusteranalysen usw.
• Berichtserstellung : Auswählen der Knoten, an denen Sie interessiert sind, und klicken Sie auf "Überprüfung aus ausgewählten Knoten generieren" (Berichte werden auf der Seite "Berichte" angezeigt).
• Knotenlayout
• Code Review : Wählen Sie den Expander "Code anzeigen" aus, um den Python -Code anzugeben, der verwendet wird, um eine Analyse zu rendern
• SVG -Export : Wenn Sie Ihre visualisierten Analysen speichern möchten, wählen Sie "Export in SVG" aus.

Dateistruktur

Alle Frontend NextJS -Code befinden sich im Ordner "NextJs". Derzeit ist TypeScript nicht im Skriptmodus festgelegt, aber ich plane, diese zu aktualisieren, sobald alle Typ -Konfigurationen vollständig hinzugefügt werden.

Die Langgraph- und Agentenkonfigurationen finden Sie im Backend-Ordner, wobei die Agentendefinitionen und die Grafikkonfiguration in Backend-> api-> Agenten-> Agents.Py und Backend-> api-> Agent_Graph-> Graph.py enthalten sind. Das Fastapi-Backend-Setup befindet sich in Backend-> api-> test.py, wobei die Koordination der Langgraph-Antworten in Langchain_base-> langchain.py gefunden wird. Modellkonfigurationen finden Sie im Verzeichnis Backend-> Api-> Models. Alle Eingabeaufforderungen befinden sich in Backend-> api-> Eingabeaufforderungen-> forderts.py

Ein Großteil des Schemas und der Implementierung stammt aus diesem Projekt, das auch ein hervorragendes Lernmaterial enthält.

Installation

Docker

Der einfachste Weg, um zu installieren und zu beginnen, ist über Docker. Sie können entweder das vorgefertigte Bild ziehen oder das Bild lokal erstellen.

Ziehen Sie das Docker -Bild von DockerHub aus

1. Um die neueste Version der nächsten Backend -Bilder von Python und Python zu erhalten:

   docker pull nbritt27/marat-agent-data-analysis:frontendv1.0
   docker pull nbritt27/marat-agent-data-analysis:backendv1.0

2. Um das Frontend -Bild auszuführen:

   docker run -p 3000:3000 --name marat-frontend -d marat-agent-data-analysis:frontend

3. Um das Backend -Bild auszuführen, müssen Sie Ihren eigenen OpenAI -API -Schlüssel bereitstellen. Dies kann als Keyword -Argument erfolgen:

   docker run -p 8000:8000 --name marat-agent-data-analysis-backend -d 
   -e OPENAI_API_KEY=your_api_key 
   marat-agent-data-analysis-backend:v1.0

Bauen Sie das Bild lokal auf

1. Klonen Sie das Repository

   git clone https://github.com/nbritt27/marat-agent-data-analysis.git
   cd marat-agent-data-analysis

2. Kopieren Sie das Env.example in Ihre .env -Datei

   cp .env.example .env

3. Ersetzen Sie die Umgebungsvariablen durch Ihre API -Schlüssel
4. Verfassen Sie das lokale Bild

   docker compose up

Ohne Docker laufen

Angenommen, Sie haben den Knoten installiert (dieses Projekt verwendet Knoten 20.12.0): Das Projekt verwendet ein NextJS-Frontend, wobei die Anweisungen zur Installationsanleitung von NextJs unter https://nextjs.org/docs/getting-started/installation gefunden werden

1. Bewegen Sie sich in das nächste Js -Verzeichnis

    cd nextjs

2. Installieren Sie alle NextJs und Knotenabhängigkeiten

   npm install
   # or
   pnpm install

3. PIP -Abhängigkeiten installieren

   pip install -r ../backend/requirements.txt

4. Das Projekt durchführen

    npm run dev
   

   Hinweis: Wenn Sie Windows verwenden und Berichte generieren möchten, müssen Sie das Installationsprogramm für WKHTMLTOPDF https://wkhtmltopdf.org/downloads.html herunterladen und den ausführbaren Pfad in der Env -Datei angeben.

In diesem Projekt wird generierter Python -Code ausgeführt. Es wird empfohlen, das Projekt in einer virtuellen Umgebung oder einem virtuellen Container auszuführen.

Projektbahn

Kurzfristig

• Aktivieren Sie Sitzungsspeicher (wahrscheinlich über einen Postgres -Endpunkt mit der NextJS -Authentifizierung)
• Aktualisieren Sie Agentenkonfigurationen (mehr Agenten = mehr Funktionen) und Spezialisierung für bestimmte Analysetypen
• Optionen, um Follow-up-Fragen oder Analyseanforderungen an bestimmten Knoten zu stellen
• Einbeziehung mehrerer LLM -Anbieter (OpenAI ist die einzige, die ausführlich getestet wurde)

Mittelfristig

• Fähigkeit für Benutzer, ihre eigenen Knoten mit benutzerdefinierten Analysen oder Erkenntnissen hinzuzufügen
• Unterstützung für weitere Dateitypen
• Implementieren Sie ein GraphRAG -System zum Umgang mit Textdaten und Analysen
• Kette des Denkens und Metaverdienung für bestimmte Agentenrichtlinien

Langfristig

• Fähigkeit, ganze Berichte/Manuskripte hochzuladen und sie in ihren eigenen Fluss umzuwandeln, der geändert werden kann
• Tools zur Automatisierung der Expansion vorhandener Analysen
• Einbeziehung zusätzlicher Forschungsinstrumente in die Fast-Track-Analyseplanung und die Erstellung von Manuskripten

Bekannte Fehler

• Frontend
  • Gelegentlich lädt die Seite und das Dialogfeld "Datei wählen" ist nicht operativ. Das Aktualisieren der Seite löst dieses Problem normalerweise auf
  • Wenn Sie gelegentlich die ausgewählte Datei senden, werden Sie zur Option "Datei wählen" zurückgeführt. Einfach die Datei auszuwählen, funktioniert das zweite Mal
  • Textelemente wie Code und Erkenntnisse können derzeit nicht hervorgehoben und kopiert werden. Dies scheint ein Problem zu sein, bei dem bestimmte DOM -Elemente Mausereignisse über ihnen präsentiert werden, und ich arbeite an einer Lösung.
  • Bei bestimmten Tabellen tritt der SVG -Export auf einen Fehler auf
• Backend
  • Gelegentlich versucht der LLM -Codierer, die Plot -Abbildung zu drucken, die dann in Textform als Knoten hinzugefügt wird
  • Gelegentlich exportiert der LLM -Codierer seine Ausgabe wieder in seinen eigenen Aufruf zum Endpunkt des Abschlusses, was häufig zu einer maximalen Token -Anfrage führt. Die vorliegende Implementierung ermöglicht maximal drei Wiederholungen, wobei eine im Allgemeinen ausreicht.

Beitrag/Kontakt

Ich würde gerne Unterstützung bei der Arbeit an diesem Projekt lieben. Wenn Sie daran interessiert sind, das Projekt zu unterstützen oder andere Fragen oder Bedenken zu haben, ist der beste Weg, mich zu erreichen, per E -Mail an [email protected]

Lizenz

Dieses Projekt ist unter der MIT -Lizenz lizenziert - Einzelheiten finden Sie in der Lizenzdatei.

Wenn Sie dieses Projekt oder eine Teilmenge davon verwenden, lassen Sie es mich bitte wissen! Ich würde gerne sehen, was Sie schaffen können :)