marat agent data analysis

Marat-使用基于LLM的代理的数据分析

什么

Marat（“ Muh-Rah”）是一种数据分析和可视化工具，可促进探索性数据分析，从一般AI驱动的主题见解到用户的特定分析或可视化请求。

为什么

当前的数据分析实现利用对话性AI主要是疑问，用户与数据的个性化版本聊天。尽管这非常有用，但我相信它不会最大程度地利用AI在理解数据方面的好处。我们倾向于不将洞察力和信息视为在辩证法中与单独元素相互作用的单独元素，而是作为一种理解网络，洞察力链接在一起以形成对数据见解的完整理解。该项目代表了概念验证的尝试，以更好地实施这种分析观点。

如何

Marat使用NextJS Flowchart风格前端通过基于Python的Langgraph代理可视化和协调数据分析。 FastAPI用于将信息发送到Python基础，然后进行分析并将其发送回NextJS Frontend以可视化和组织。

样品用例

转到主仪表板页面（Localhost：3000/仪表板），并在提示时上传您的CSV数据文件。当出现问题提示时，您可以提出一个特定的问题（即大小和成本之间产生线性回归）或一个广泛的问题（即告诉我一切，有助于价格变化等）。要生成报告，请选择要包含的节点，然后单击“从选定节点生成报告”。然后，该报告将作为PDF生成，并可以通过 /报告页面下载。

特征

• 广泛的分析选项：回归分析，绘图可视化，集群分析等。
• 报告生成：选择您感兴趣的节点，然后单击“从选定节点生成评论”（报告将显示在“报告”页面中）
• 节点布局：选择“垂直布局”或“水平布局”以自动重新调整节点，或将它们移动到您的喜好
• 代码评论：选择“显示代码”扩展器以揭示用于渲染任何分析的Python代码
• SVG导出：如果要保存可视化分析，请选择“导出到SVG”

文件结构

All Frontend NextJS代码位于“ NextJS”文件夹中。目前，TypeScript不是在脚本模式下设置的，但是我计划一旦添加了所有类型配置，我就计划更新此版本。

可以在后端文件夹中找到Langgraph和Agent配置，其代理定义和图形配置分别在后端 - > api-> agents-> agents.py和后端 - > api-> apent-> agent_graph-> graph.py.py.py.py中找到。 FastApi后端设置在后端 - > api-> test.py中，在langchain_base-base-> langchain.py中找到了langgraph响应的协调。模型配置可以在后端 - > api->模型目录中找到。所有提示都位于后端 - > api->提示 - >提示中。

该项目的大部分模式和实施都来自该项目，该项目还具有一些出色的学习材料。

安装

Docker

最简单的安装和入门方法是通过Docker。您可以拉动预制图像或在本地构建图像。

从dockerhub摘下码头图像

1. 要获取NextJS和Python后端图像的最新版本：

   docker pull nbritt27/marat-agent-data-analysis:frontendv1.0
   docker pull nbritt27/marat-agent-data-analysis:backendv1.0

2. 运行前端图像：

   docker run -p 3000:3000 --name marat-frontend -d marat-agent-data-analysis:frontend

3. 要运行后端图像，您必须提供自己的OpenAI API键。这可以作为关键字参数来完成：

   docker run -p 8000:8000 --name marat-agent-data-analysis-backend -d 
   -e OPENAI_API_KEY=your_api_key 
   marat-agent-data-analysis-backend:v1.0

在本地构建图像

1. 克隆存储库

   git clone https://github.com/nbritt27/marat-agent-data-analysis.git
   cd marat-agent-data-analysis

2. 将Env.example复制到您的.env文件中

   cp .env.example .env

3. 用您的API键替换环境变量
4. 构成本地图像

   docker compose up

没有Docker

假设您已安装了节点（此项目使用节点20.12.0）：该项目使用NextJS Frontend，nextJS安装说明在https://nextjs.org/docs/getting-petter-started/installation上找到

1. 进入NextJS目录

    cd nextjs

2. 安装所有nextJ和节点依赖项

   npm install
   # or
   pnpm install

3. 安装PIP依赖性

   pip install -r ../backend/requirements.txt

4. 运行项目

    npm run dev
   

   注意：如果您使用的是Windows并要生成报告，则必须下载wkhtmltopdf https://wkhtmltopdf.org/downloads.html的安装程序，并指定Env File中的可执行路径。

该项目确实执行生成的Python代码。建议在虚拟环境或容器的内部运行该项目。

项目轨迹

短期

• 启用会话存储（可能通过the NextJS身份验证的Postgres端点）
• 更新代理配置（更多代理=更多功能），以及某些类型的分析的专业化
• 提出后续问题或分析请求的选项
• 掺入多个LLM提供商（OpenAI是唯一经过广泛测试的一个）

中期

• 用户可以通过自定义分析或见解添加自己的节点
• 支持更多文件类型
• 实施用于处理文本数据和分析的GraphRag系统
• 某些代理指令的思想推理链和荟萃提示

长期

• 能够上传整个报告/手稿并将其转换为可以修改的流程
• 自动扩展现有分析的工具
• 将其他研究工具纳入快速轨道分析计划和手稿创建

已知错误

• 前端
  • 有时，该页面会加载，并且“选择文件”对话框是无法使用的。刷新页面通常可以解决此问题
  • 有时，提交所选文件会将您返回“选择文件”选项。仅选择文件第二次起作用
  • 文本元素（例如代码和见解）目前无法突出显示和复制。这似乎是一个问题，其中某些DOM元素被呈现给它们上方的鼠标事件，而我正在研究解决方案。
  • 处理某些表时，SVG导出将遇到错误
• 后端
  • 有时，LLM编码器会尝试打印绘图图，然后以文本形式添加为节点
  • 有时，LLM Coder会将其输出导出到自己的端点自己的呼叫中，通常会导致>最大令牌请求。目前的实现最多允许三个重试，其中一个通常就足够了。

贡献/联系

我希望协助参与这个项目。如果您有兴趣协助该项目，或者有其他任何问题或疑虑，最好的方法是通过电子邮件[email protected]通过电子邮件

执照

该项目是根据MIT许可证获得许可的 - 有关详细信息，请参见许可证文件。

如果您使用此项目或任何子集，请告诉我！我很想看看你能够创建什么:)