marat agent data analysis

Marat-使用基於LLM的代理的數據分析

什麼

Marat（“ Muh-Rah”）是一種數據分析和可視化工具，可促進探索性數據分析，從一般AI驅動的主題見解到用戶的特定分析或可視化請求。

為什麼

當前的數據分析實現利用對話性AI主要是疑問，用戶與數據的個性化版本聊天。儘管這非常有用，但我相信它不會最大程度地利用AI在理解數據方面的好處。我們傾向於不將洞察力和信息視為在辯證法中與單獨元素相互作用的單獨元素，而是作為一種理解網絡，洞察力鏈接在一起以形成對數據見解的完整理解。該項目代表了概念驗證的嘗試，以更好地實施這種分析觀點。

如何

Marat使用NextJS Flowchart風格前端通過基於Python的Langgraph代理可視化和協調數據分析。 FastAPI用於將信息發送到Python基礎，然後進行分析並將其發送回NextJS Frontend以可視化和組織。

樣品用例

轉到主儀表板頁面（Localhost：3000/儀表板），並在提示時上傳您的CSV數據文件。當出現問題提示時，您可以提出一個特定的問題（即大小和成本之間產生線性回歸）或一個廣泛的問題（即告訴我一切，有助於價格變化等）。要生成報告，請選擇要包含的節點，然後單擊“從選定節點生成報告”。然後，該報告將作為PDF生成，並可以通過 /報告頁面下載。

特徵

• 廣泛的分析選項：回歸分析，繪圖可視化，集群分析等。
• 報告生成：選擇您感興趣的節點，然後單擊“從選定節點生成評論”（報告將顯示在“報告”頁面中）
• 節點佈局：選擇“垂直佈局”或“水平佈局”以自動重新調整節點，或將它們移動到您的喜好
• 代碼評論：選擇“顯示代碼”擴展器以揭示用於渲染任何分析的Python代碼
• SVG導出：如果要保存可視化分析，請選擇“導出到SVG”

文件結構

All Frontend NextJS代碼位於“ NextJS”文件夾中。目前，TypeScript不是在腳本模式下設置的，但是我計劃一旦添加了所有類型配置，我就計劃更新此版本。

可以在後端文件夾中找到Langgraph和Agent配置，其代理定義和圖形配置分別在後端 - > api-> agents-> agents.py和後端 - > api-> apent-> agent_graph-> graph.py.py.py.py中找到。 FastApi後端設置在後端 - > api-> test.py中，在langchain_base-base-> langchain.py中找到了langgraph響應的協調。模型配置可以在後端 - > api->模型目錄中找到。所有提示都位於後端 - > api->提示 - >提示中。

該項目的大部分模式和實施都來自該項目，該項目還具有一些出色的學習材料。

安裝

Docker

最簡單的安裝和入門方法是通過Docker。您可以拉動預製圖像或在本地構建圖像。

從dockerhub摘下碼頭圖像

1. 要獲取NextJS和Python後端圖像的最新版本：

   docker pull nbritt27/marat-agent-data-analysis:frontendv1.0
   docker pull nbritt27/marat-agent-data-analysis:backendv1.0

2. 運行前端圖像：

   docker run -p 3000:3000 --name marat-frontend -d marat-agent-data-analysis:frontend

3. 要運行後端圖像，您必須提供自己的OpenAI API鍵。這可以作為關鍵字參數來完成：

   docker run -p 8000:8000 --name marat-agent-data-analysis-backend -d 
   -e OPENAI_API_KEY=your_api_key 
   marat-agent-data-analysis-backend:v1.0

在本地構建圖像

1. 克隆存儲庫

   git clone https://github.com/nbritt27/marat-agent-data-analysis.git
   cd marat-agent-data-analysis

2. 將Env.example複製到您的.env文件中

   cp .env.example .env

3. 用您的API鍵替換環境變量
4. 構成本地圖像

   docker compose up

沒有Docker

假設您已安裝了節點（此項目使用節點20.12.0）：該項目使用NextJS Frontend，nextJS安裝說明在https://nextjs.org/docs/getting-petter-started/installation上找到

1. 進入NextJS目錄

    cd nextjs

2. 安裝所有nextJ和節點依賴項

   npm install
   # or
   pnpm install

3. 安裝PIP依賴性

   pip install -r ../backend/requirements.txt

4. 運行項目

    npm run dev
   

   注意：如果您使用的是Windows並要生成報告，則必須下載wkhtmltopdf https://wkhtmltopdf.org/downloads.html的安裝程序，並指定Env File中的可執行路徑。

該項目確實執行生成的Python代碼。建議在虛擬環境或容器的內部運行該項目。

項目軌跡

短期

• 啟用會話存儲（可能通過the NextJS身份驗證的Postgres端點）
• 更新代理配置（更多代理=更多功能），以及某些類型的分析的專業化
• 提出後續問題或分析請求的選項
• 摻入多個LLM提供商（OpenAI是唯一經過廣泛測試的一個）

中期

• 用戶可以通過自定義分析或見解添加自己的節點
• 支持更多文件類型
• 實施用於處理文本數據和分析的GraphRag系統
• 某些代理指令的思想推理鍊和薈萃提示

長期

• 能夠上傳整個報告/手稿並將其轉換為可以修改的流程
• 自動擴展現有分析的工具
• 將其他研究工具納入快速軌道分析計劃和手稿創建

已知錯誤

• 前端
  • 有時，該頁面會加載，並且“選擇文件”對話框是無法使用的。刷新頁面通常可以解決此問題
  • 有時，提交所選文件會將您返回“選擇文件”選項。僅選擇文件第二次起作用
  • 文本元素（例如代碼和見解）目前無法突出顯示和復制。這似乎是一個問題，其中某些DOM元素被呈現給它們上方的鼠標事件，而我正在研究解決方案。
  • 處理某些表時，SVG導出將遇到錯誤
• 後端
  • 有時，LLM編碼器會嘗試打印繪圖圖，然後以文本形式添加為節點
  • 有時，LLM Coder會將其輸出導出到自己的端點自己的呼叫中，通常會導致>最大令牌請求。目前的實現最多允許三個重試，其中一個通常就足夠了。

貢獻/聯繫

我希望協助參與這個項目。如果您有興趣協助該項目，或者有其他任何問題或疑慮，最好的方法是通過電子郵件[email protected]通過電子郵件

執照

該項目是根據MIT許可證獲得許可的 - 有關詳細信息，請參見許可證文件。

如果您使用此項目或任何子集，請告訴我！我很想看看你能夠創建什麼:)