marat agent data analysis

MARAT - Análisis de datos utilizando agentes basados ​​en LLM

Qué

Marat ("muh-rah") es una herramienta de análisis y visualización de datos que facilita el análisis de datos exploratorios, desde ideas temáticas generales impulsadas por la IA hasta solicitudes de análisis o visualización específicas por parte del usuario.

Por qué

Las implementaciones de análisis de datos actuales que aprovechan la IA conversacional son principalmente interrogativas, con el usuario chatando con una versión personificada de los datos. Si bien esto es bastante útil, creo que no maximiza el beneficio de la IA en la comprensión de los datos. Tendemos a no ver las ideas y la información como elementos separados interactuados en una dialéctica, sino como una red de comprensión, con ideas que se vinculan juntos para formar una comprensión completa de los conocimientos de datos. Este proyecto representa un intento de prueba de concepto de implementar mejor esta visión del análisis.

Cómo

Marat utiliza una frontend de estilo de flujo NextJS para visualizar y coordinar el análisis de datos a través de los agentes de Langgraph con sede en Python. Fastapi se utiliza para enviar información a la base de Python, donde el análisis se realiza y se envía de regreso al interfaz de NextJS para visualizar y organizar.

Caso de uso de muestra

Vaya a la página del tablero principal (localhost: 3000/tablero) y cargue su archivo de datos CSV cuando se le solicite. Cuando aparece el mensaje de la pregunta, puede hacer una pregunta específica (es decir, generar una regresión lineal entre tamaño y costo) o una pregunta amplia (es decir, decirme todo, qué contribuye a los cambios en el precio, etc.). Para generar un informe, seleccione los nodos que desea incluir y haga clic en "Generar el informe de los nodos seleccionados". El informe se generará como un PDF y se puede descargar a través de la página /informes.

Características

• Amplia gama de opciones de análisis : análisis de regresión, visualizaciones complementarias, análisis de clúster, etc.
• Generación de informes : Selección de los nodos que está interesado y haga clic en "Generar revisión desde los nodos seleccionados" (los informes aparecerán en la página "Informes")
• Diseños de nodos : Seleccione "Diseño vertical" o "Diseño horizontal" para realinear automáticamente los nodos insertados, o muévalos a su gusto
• Revisión del código : seleccione el expansor del "Código de mostrar" para revelar el código de Python utilizado para realizar cualquier análisis
• Exportación de SVG : si desea guardar sus análisis visualizados, seleccione "Exportar a SVG"

Estructura de archivo

Todo el código frontend NextJS se encuentra en la carpeta 'NEXTJS'. Actualmente, TypeScript no está configurado en modo de script, pero estoy planeando actualizar esto una vez que todas las configuraciones de tipo se agregan completamente.

Las configuraciones de Langgraph y Agent se pueden encontrar en la carpeta de backend, con las definiciones del agente y la configuración de gráficos que se encuentran en el backend-> api-> agentes-> agentes.py y backend-> api-> agente_graph-> gráfico respectivamente. La configuración de backend de Fastapi está en backend-> api-> test.py, con la coordinación de las respuestas de langgraph que se encuentran en langchain_base-> langchain.py. Las configuraciones del modelo se pueden encontrar en el directorio de modelos de backend-> api->. Todas las indicaciones se encuentran en backend-> api-> indicadores-> indicador

Gran parte del esquema e implementación proviene de este proyecto, que también presenta un excelente material de aprendizaje.

Instalación

Estibador

La forma más fácil de instalar y comenzar es a través de Docker. Puede extraer la imagen preconstruida o construir la imagen localmente.

Tire de la imagen Docker de Dockerhub

1. Para obtener la versión más reciente de las imágenes de backend de NextJS y Python:

   docker pull nbritt27/marat-agent-data-analysis:frontendv1.0
   docker pull nbritt27/marat-agent-data-analysis:backendv1.0

2. Para ejecutar la imagen frontend:

   docker run -p 3000:3000 --name marat-frontend -d marat-agent-data-analysis:frontend

3. Para ejecutar la imagen de backend, deberá proporcionar su propia tecla API de OpenAI. Esto se puede hacer como un argumento de palabra clave:

   docker run -p 8000:8000 --name marat-agent-data-analysis-backend -d 
   -e OPENAI_API_KEY=your_api_key 
   marat-agent-data-analysis-backend:v1.0

Construye la imagen localmente

1. Clonar el repositorio

   git clone https://github.com/nbritt27/marat-agent-data-analysis.git
   cd marat-agent-data-analysis

2. Copie el env.example en su archivo .env

   cp .env.example .env

3. Reemplace las variables de entorno con sus teclas API
4. Componer la imagen local

   docker compose up

Corriendo sin Docker

Suponiendo que haya instalado el nodo (este proyecto usa el nodo 20.12.0): el proyecto usa un frontend de NextJS, con las instrucciones de instalación de NextJS que se encuentran en https://nextjs.org/docs/getting-started/installation

1. Mudarse al directorio NextJS

    cd nextjs

2. Instale todas las dependencias de NextJS y Node

   npm install
   # or
   pnpm install

3. Instalar dependencias de PIP

   pip install -r ../backend/requirements.txt

4. Para ejecutar el proyecto

    npm run dev
   

   Nota: Si está utilizando Windows y desea generar informes, deberá descargar el instalador para wkhtmltopdf https://wkhtmltopdf.org/downloads.html, y especificar la ruta ejecutable en el archivo env.

Este proyecto ejecuta el código Python generado. Se recomienda ejecutar el proyecto dentro de un entorno virtual o contenedor.

Trayectoria del proyecto

Corto plazo

• Habilitar el almacenamiento de la sesión (probablemente a través de un punto final de Postgres con la autenticación NextJS)
• Actualizar configuraciones de agente (más agentes = más funcionalidad) y especialización para ciertos tipos de análisis
• Opciones para hacer preguntas de seguimiento o solicitud de análisis en nodos particulares
• Incorporación de múltiples proveedores de LLM (OpenAi es el único que se ha probado ampliamente)

Examen de mitad del trimestre

• Capacidad para que los usuarios agregue sus propios nodos con análisis o ideas personalizadas
• Soporte para más tipos de archivos
• Implementar un sistema Graphrag para manejar datos y análisis de texto
• Razonamiento de la cadena de pensamiento y metadrompto para ciertas directivas de agentes

A largo plazo

• Capacidad para cargar informes/manuscritos completos y convertirlos en su propio flujo que se pueda modificar
• Herramientas para automatizar la expansión de los análisis existentes
• Incorporación de herramientas de investigación adicionales para la planificación de análisis de avances rápidos y la creación de manuscritos

Errores conocidos

• Interfaz
  • Ocasionalmente, la página se cargará y el cuadro de diálogo "Elegir archivo" no es operable. Actualizar la página normalmente resuelve este problema
  • Ocasionalmente, enviar el archivo elegido lo devolverá a la opción "Elija archivo". Simplemente elegir el archivo vuelve a funcionar la segunda vez
  • Los elementos de texto, como el código y las ideas, actualmente no pueden resaltar y copiar. Esto parece ser un problema con ciertos elementos DOM presentados a eventos de ratones por encima de ellos, y estoy trabajando en una solución.
  • Al tratar con ciertas tablas, la exportación de SVG encontrará un error
• Backend
  • Ocasionalmente, el codificador LLM intentará imprimir la figura complentada, que luego se agrega en forma de texto como nodo
  • Ocasionalmente, el codificador LLM exportará su salida nuevamente a su propia llamada al punto final de finalización, lo que a menudo resulta en una solicitud de tokens> Max. La implementación actual permite un máximo de tres reintentos, y uno generalmente es suficiente.

Contribuir/contactar

Me encantaría la ayuda para trabajar en este proyecto. Si está interesado en ayudar con el proyecto o tiene otras preguntas o inquietudes, la mejor manera de comunicarse conmigo es por correo electrónico a [email protected]

Licencia

Este proyecto tiene licencia bajo la licencia MIT; consulte el archivo de licencia para obtener más detalles.

Si usa este proyecto o cualquier subconjunto, ¡hágamelo saber! Me encantaría ver lo que puedes crear :)