AI Data Analysis MultiAgent

AI-gesteuerter Forschungsassistent

Überblick

Dies ist ein fortschrittliches KI-betriebener wissenschaftlicher Mitarbeiter-Assistant-System, das mehrere spezialisierte Agenten verwendet, um Aufgaben wie Datenanalyse, Visualisierung und Berichterstellung zu unterstützen. Das System verwendet Langchain, OpenAI -GPT -Modelle und Langgraph, um komplexe Forschungsprozesse zu bewältigen und verschiedene KI -Architekturen für eine optimale Leistung zu integrieren.

Schlüsselmerkmale

• Erzeugung und Validierung der Hypothesen
• Datenverarbeitung und -analyse
• Visualisierungsschöpfung
• Websuche und Informationsabruf
• Codegenerierung und -ausführung
• Bericht schreiben
• Qualitätsüberprüfung und Revision
• Verschiedene architektonische Integration :
  • Supervisor -Agenten zur Überwachung des Analyseprozesses
  • Gedankenkette für komplexe Problemlösung
  • Kritiker Agenten für Qualitätssicherung und Fehlerprüfung
• Innovativer Note Taker Agent :
  • Erfasst kontinuierlich den aktuellen Stand des Projekts
  • Bietet eine effizientere Alternative zur Übertragung vollständiger historischer Informationen
  • Verbessert die Fähigkeit des Systems, den Kontext und die Kontinuität über verschiedene Analysephasen hinweg aufrechtzuerhalten
• Adaptiver Workflow : Passen Sie seinen Analyseansatz dynamisch anhand der Daten und der jeweiligen Aufgabe an

Warum es einzigartig ist

Die Integration eines speziellen Note Taker Agent unterscheidet dieses System von herkömmlichen Datenanalyse -Pipelines. Durch die Aufrechterhaltung einer prägnanten und dennoch umfassenden Aufzeichnung des Projektstaates kann das System:

1. Rechenaufwand reduzieren
2. Verbessern Sie die Kontextretention über verschiedene Analysephasen hinweg
3. Aktivieren Sie kohärentere und konsistentere Analyseergebnisse

Systemanforderungen

• Python 3.10 oder höher
• Jupyter Notebook -Umgebung

Installation

1. Klonen Sie das Repository:

git clone https://github.com/starpig1129/ai-data-analysis-MulitAgent.git

2. Erstellen und aktivieren Sie eine virtuelle Konda -Umgebung:

conda create -n data_assistant python=3.10
conda activate data_assistant

3. Abhängigkeiten installieren:

pip install -r requirements.txt

4. Einrichten von Umgebungsvariablen: .env .env Example

 # Your data storage path(required)
DATA_STORAGE_PATH =./data_storage/

# Anaconda installation path(required)
CONDA_PATH = /home/user/anaconda3

# Conda environment name(required)
CONDA_ENV = envname

# ChromeDriver executable path(required)
CHROMEDRIVER_PATH =./chromedriver-linux64/chromedriver

# Firecrawl API key (optional)
# Note: If this key is missing, query capabilities may be reduced
FIRECRAWL_API_KEY = XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

# OpenAI API key (required)
# Warning: This key is essential; the program will not run without it
OPENAI_API_KEY = XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

# LangChain API key (optional)
# Used for monitoring the processing
LANGCHAIN_API_KEY = XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

Verwendung

1. Starten Sie das Jupyter -Notizbuch:

2. Legen Sie yourDataname.csv in Data_Storage fest

3. Öffnen Sie die Datei main.ipynb .

4. Führen Sie alle Zellen aus, um das System zu initialisieren und den Workflow zu erstellen.

5. In der letzten Zelle können Sie die Forschungsaufgabe anpassen, indem Sie die userInput -Variable ändern.

6. Führen Sie die letzten Zellen aus, um den Forschungsprozess auszuführen und die Ergebnisse anzusehen.

Hauptkomponenten

• hypothesis_agent : Erzeugt Forschungshypothesen
• process_agent : überwacht den gesamten Forschungsprozess
• visualization_agent : Erstellt Datenvisualisierungen
• code_agent : schreibt Datenanalysecode
• searcher_agent : führt Literatur- und Web -Suche durch
• report_agent : schreibt Forschungsberichte
• quality_review_agent : führt Qualitätsbewertungen durch
• note_agent : Aufzeichnet den Forschungsprozess

Workflow

Das System verwendet Langgraph, um ein Statusdiagramm zu erstellen, das den gesamten Forschungsprozess verwaltet. Der Workflow enthält die folgenden Schritte:

1. Hypothesegenerierung
2. Menschliche Wahl (weiter oder regenerieren Sie Hypothese)
3. Verarbeitung (einschließlich Datenanalyse, Visualisierung, Suche und Berichtsschreiben)
4. Qualitätsbewertung
5. Überarbeitung bei Bedarf

Anpassung

Sie können das Systemverhalten anpassen, indem Sie die Definition der Agentenerstellung und Workflow in main.ipynb ändern.

Notizen

• Stellen Sie sicher, dass Sie über ausreichende OpenAI -API -Credits verfügen, da das System mehrere API -Anrufe tätigt.
• Das System kann je nach Komplexität der Aufgabe einige Zeit in Anspruch nehmen, um den gesamten Forschungsprozess abzuschließen.
• WARNUNG : Das Agentensystem kann die analysierten Daten ändern. Es wird dringend empfohlen, Ihre Daten zu sichern, bevor Sie dieses System verwenden.

Aktuelle Probleme und Lösungen

1. OpenAI Interner Serverfehler (Fehlercode: 500)
2. Verbesserung der Notetaker -Effizienz
3. Gesamtzeitoptimierung
4. Raffiner muss besser sein

Beitragen

Pull -Anfragen sind willkommen. Für wichtige Änderungen öffnen Sie zuerst ein Problem, um zu besprechen, was Sie ändern möchten.

Lizenz

Dieses Projekt ist unter der MIT -Lizenz lizenziert - Einzelheiten finden Sie in der Lizenzdatei.

Sterngeschichte

Andere Projekte

Hier sind einige meiner anderen bemerkenswerten Projekte:

Sharelmapi

Sharelmapi ist eine API für lokale Sprachmodells, die Fastapi zur Bereitstellung von Schnittstellen verwendet und verschiedene Programme oder ein Gerät ermöglicht, dasselbe lokale Modell zu teilen, wodurch der Ressourcenverbrauch verringert wird. Es unterstützt die Streaming -Generierung und verschiedene Modellkonfigurationsmethoden.

• Github: Sharelmapi

Pigpig: Advanced Multi-Modal LLM Discord Bot:

Ein leistungsstarker Discord-Bot, der auf multimodalen Großsprachenmodellen (LLM) basiert und mit den Benutzern durch natürliche Sprache interagiert. Es kombiniert fortschrittliche KI -Funktionen mit praktischen Merkmalen und bietet ein reichhaltiges Erlebnis für Discord -Gemeinschaften.

• GitHub: AI-Discord-Bot-Pigpig