marat agent data analysis

Marat - Analyse des données utilisant des agents basés sur LLM

Quoi

Marat ("MUH-Rah") est un outil d'analyse et de visualisation des données qui facilite l'analyse exploratoire des données, des informations thématiques générales axées sur l'IA à des demandes d'analyse ou de visualisation spécifiques par l'utilisateur.

Pourquoi

Les implémentations actuelles de l'analyse des données tirant parti de l'IA conversationnelle sont principalement interrogatives, l'utilisateur discutant avec une version personnifiée des données. Bien que cela soit très utile, je pense que cela ne maximise pas les avantages de l'IA dans la compréhension des données. Nous avons tendance à ne pas voir les informations et les informations comme des éléments séparés interagissaient dans une dialectique, mais plutôt comme un réseau de compréhension, avec des informations reliant ensemble pour former une compréhension complète des informations sur les données. Ce projet représente une tentative de preuve de concept pour mieux mettre en œuvre cette vision de l'analyse.

Comment

Marat utilise un frontend de style Organigramme NextJS pour visualiser et coordonner l'analyse des données via des agents Python-Basedlanggraph. FastAPI est utilisé pour envoyer des informations à la base Python, où l'analyse est ensuite effectuée et renvoyée au frontend NextJS pour être visualisée et organisée.

Échantillon de cas d'utilisation

Accédez à la page de tableau de bord principale (localhost: 3000 / tableau de bord) et téléchargez votre fichier de données CSV lorsque vous y êtes invité. Lorsque l'invite de question apparaît, vous pouvez soit poser une question spécifique (c'est-à-dire générer une régression linéaire entre la taille et le coût) ou une question large (c'est-à-dire que tout me disent, ce qui contribue aux changements de prix, etc.). Pour générer un rapport, sélectionnez les nœuds que vous souhaitez inclure et cliquez sur "Générer un rapport à partir des nœuds sélectionnés". Le rapport sera ensuite généré sous forme de PDF et peut être téléchargé via la page / Reports.

Caractéristiques

• Large gamme d'options d'analyse : analyses de régression, visualisations parce que les analyses de grappes, etc.
• Génération de rapports : sélection des nœuds qui vous intéressent et cliquez sur "Générer la révision à partir des nœuds sélectionnés" (les rapports apparaîtront dans la page "Reports")
• Disposition des nœuds : sélectionnez "Disposition verticale" ou "Disposition horizontale" pour réaligner automatiquement les nœuds insérés ou les déplacer vers votre goût
• Revue du code : sélectionnez l'expanseur "Show Code" pour révéler le code Python utilisé pour rendre toute analyse
• Exportation SVG : Si vous souhaitez enregistrer vos analyses visualisées, sélectionnez "Exporter vers SVG"

Structure de fichiers

Tout le code Frontend NextJS est situé dans le dossier 'NextJS'. Actuellement, TypeScript n'est pas défini en mode script, mais je prévois de mettre à jour cela une fois que toutes les configurations de type sont entièrement ajoutées.

Les configurations Langgraph et Agent peuvent être trouvées dans le dossier Backend, avec les définitions d'agent et la configuration du graphique trouvées dans Backend-> API-> Agents-> Agents.py et Backend-> API-> Agent_Graph-> Graph.py respectivement. La configuration du backend fastapi est dans le backend-> api-> test.py, avec la coordination des réponses Langgraph trouvées dans Langchain_base-> Langchain.py. Les configurations du modèle peuvent être trouvées dans le répertoire Backend-> Api-> Modèles. Toutes les invites sont situées dans backend-> api-> invites-> inside.py

Une grande partie du schéma et de la mise en œuvre provient de ce projet, qui présente également un excellent matériel d'apprentissage.

Installation

Docker

La façon la plus simple d'installer et de commencer est via Docker. Vous pouvez soit tirer l'image prédéfinie ou construire l'image localement.

Tirez l'image Docker de DockerHub

1. Pour obtenir la version la plus récente des images NextJS et Python Backend:

   docker pull nbritt27/marat-agent-data-analysis:frontendv1.0
   docker pull nbritt27/marat-agent-data-analysis:backendv1.0

2. Pour exécuter l'image du frontend:

   docker run -p 3000:3000 --name marat-frontend -d marat-agent-data-analysis:frontend

3. Pour exécuter l'image backend, vous devrez fournir votre propre clé API OpenAI. Cela peut être fait comme un argument de mot-clé:

   docker run -p 8000:8000 --name marat-agent-data-analysis-backend -d 
   -e OPENAI_API_KEY=your_api_key 
   marat-agent-data-analysis-backend:v1.0

Construisez l'image localement

1. Cloner le référentiel

   git clone https://github.com/nbritt27/marat-agent-data-analysis.git
   cd marat-agent-data-analysis

2. Copiez l'env.example dans votre fichier .env

   cp .env.example .env

3. Remplacez les variables d'environnement par vos clés API
4. Composez l'image locale

   docker compose up

Courir sans Docker

En supposant que vous avez un nœud installé (ce projet utilise le nœud 20.12.0): Le projet utilise un frontend NextJS, avec des instructions d'installation NextJS trouvées sur https://nextjs.org/docs/getting-started/installation

1. Déplacez-vous dans le répertoire NextJS

    cd nextjs

2. Installez toutes les dépendances NextJS et Node

   npm install
   # or
   pnpm install

3. Installez les dépendances PIP

   pip install -r ../backend/requirements.txt

4. Pour exécuter le projet

    npm run dev
   

   Remarque: Si vous utilisez Windows et que vous souhaitez générer des rapports, vous devrez télécharger l'installateur pour wkhtmltopdf https://wkhtmltopdf.org/downloads.html, et spécifiez le chemin exécutable dans le fichier Env.

Ce projet exécute le code Python généré. L'exécution du projet à l'intérieur d'un environnement virtuel ou d'un conteneur est recommandé.

Trajectoire du projet

À court terme

• Activer le stockage de session (probablement via un point de terminaison Postgres avec l'authentification NextJS)
• Mettre à jour les configurations d'agent (plus d'agents = plus de fonctionnalités) et spécialisation pour certains types d'analyse
• Options pour poser des questions de suivi ou une demande d'analyse sur des nœuds particuliers
• Incorporation de plusieurs fournisseurs de LLM (OpenAI est le seul à avoir été largement testé)

À mi-parcours

• Capacité pour les utilisateurs à ajouter leurs propres nœuds avec des analyses ou des informations personnalisées
• Prise en charge de plus de types de fichiers
• Implémentez un système GraphRag pour gérer les données de texte et l'analyse
• Chaîne de raisonnement de pensée et méta-comptage pour certaines directives d'agent

À long terme

• Capacité à télécharger des rapports / manuscrits entiers et de les convertir en leur propre flux qui peut être modifié
• Outils pour automatiser l'expansion des analyses existantes
• Incorporation d'outils de recherche supplémentaires pour accélérer la planification de l'analyse et la création de manuscrits

Bogues connues

• L'extrémité avant
  • Parfois, la page se chargera et la boîte de dialogue "Choisir le fichier" est inopérable. Rafraîchir la page résout normalement ce problème
  • Parfois, la soumission du fichier choisi vous renvoie à l'option "Choisir le fichier". Le simple choix du fichier fonctionne à nouveau la deuxième fois
  • Les éléments de texte, tels que le code et les informations, ne peuvent pas actuellement être mis en évidence et copiés. Cela semble être un problème avec certains éléments DOM présentés aux événements de souris au-dessus d'eux, et je travaille sur une solution.
  • Lorsque vous traitez avec certaines tables, l'exportation SVG rencontrera une erreur
• Backend
  • Parfois, le codeur LLM tentera d'imprimer la figure de tracé, qui est ensuite ajoutée sous forme de texte en tant que nœud
  • Parfois, le codeur LLM exportera sa sortie dans son propre appel au point de terminaison des compléments, ce qui entraîne souvent une demande de jetons max. La présente implémentation permet un maximum de trois tentatives, une étant généralement suffisante.

Contribuer / contacter

J'adorerais l'aide pour travailler sur ce projet. Si vous êtes intéressé à aider au projet ou à avoir d'autres questions ou préoccupations, la meilleure façon de me joindre est par e-mail à [email protected]

Licence

Ce projet est autorisé en vertu de la licence MIT - voir le fichier de licence pour plus de détails.

Si vous utilisez ce projet ou tout sous-ensemble, veuillez me le faire savoir! J'adorerais voir ce que vous pouvez créer :)