marat agent data analysis

MARAT- LLMベースのエージェントを使用したデータ分析

何

Marat（ "Muh-rah"）は、一般的なAI主導のテーマの洞察から、ユーザーによる特定の分析または視覚化要求まで、探索的データ分析を促進するデータ分析および視覚化ツールです。

なぜ

現在のデータ分析の実装は、会話型AIを活用することは主に疑問的であり、ユーザーは擬人化されたバージョンのデータとチャットします。これは非常に便利ですが、データの理解におけるAIの利点を最大化しないと思います。私たちは、洞察や情報を、弁証法で相互作用した別々の要素とは、むしろ理解のネットワークとして見ている傾向があります。このプロジェクトは、この分析の見解をよりよく実装する概念実証の試みを表しています。

どうやって

Maratは、NextJSフローチャートスタイルのフロントエンドを使用して、Pythonベースのランググラフエージェントを介してデータ分析を視覚化および調整します。 Fastapiは、Pythonベースに情報を送信するために使用されます。そこでは、分析が行われ、NextJSフロントエンドに送信され、視覚化および整理されます。

サンプルユースケース

メインダッシュボードページ（localhost：3000/dashboard）に移動し、プロンプトが表示されたときにCSVデータファイルをアップロードします。質問プロンプトが表示されると、特定の質問（つまり、サイズとコストの間に線形回帰を生成する）または幅広い質問（つまり、すべてを教えてください、価格の変化などに貢献します）。レポートを生成するには、含めるノードを選択し、[選択したノードからレポートを生成]をクリックします。レポートはPDFとして生成され、 /Reportsページからダウンロードできます。

特徴

• 幅広い分析オプション：回帰分析、プロット的に視覚化、クラスター分析など。
• レポート生成：興味のあるノードを選択し、「選択したノードからレビューを生成する」をクリックします（レポートは「レポート」ページに表示されます）
• ノードレイアウト：「垂直レイアウト」または「水平レイアウト」を選択して、挿入されたノードを自動的に再調整するか、好みに移動します
• コードレビュー：「コードを表示する」エキスパンダーを選択して、分析をレンダリングするために使用されるPythonコードを明らかにします
• SVGエクスポート：視覚化された分析を保存する場合は、「SVGへのエクスポート」を選択します

ファイル構造

すべてのFrontEnd NextJSコードは、「NextJS」フォルダーにあります。現在、タイプスクリプトはスクリプトモードで設定されていませんが、すべてのタイプ構成が完全に追加されたら、これを更新することを計画しています。

Langgraphとエージェントの構成は、バックエンドフォルダーにあり、エージェントの定義とグラフ構成がBackEnd-> api-> agents-> agents.pyおよび> api-> aged_graph-> graph.pyにそれぞれ見つかります。 Fastapi BackendセットアップはBackEnd-> api-> test.pyにあり、langgraph応答の調整がlangchain_base-> langchain.pyにあります。モデル構成は、BackEnd-> api-> Models Directoryに記載されています。すべてのプロンプトは、backend-> api-> prompts-> prompts.pyにあります

スキーマと実装の多くは、このプロジェクトに由来しており、優れた学習資料も備えています。

インストール

Docker

インストールして開始する最も簡単な方法は、Dockerを使用することです。事前に構築された画像を引くか、ローカルで画像を作成できます。

DockerHubからDocker画像を引っ張ります

1. NextJSおよびPythonバックエンド画像の最新バージョンを取得するには：

   docker pull nbritt27/marat-agent-data-analysis:frontendv1.0
   docker pull nbritt27/marat-agent-data-analysis:backendv1.0

2. フロントエンド画像を実行するには：

   docker run -p 3000:3000 --name marat-frontend -d marat-agent-data-analysis:frontend

3. バックエンド画像を実行するには、独自のOpenAI APIキーを提供する必要があります。これは、キーワード引数として実行できます。

   docker run -p 8000:8000 --name marat-agent-data-analysis-backend -d 
   -e OPENAI_API_KEY=your_api_key 
   marat-agent-data-analysis-backend:v1.0

画像をローカルに作成します

1. リポジトリをクローンします

   git clone https://github.com/nbritt27/marat-agent-data-analysis.git
   cd marat-agent-data-analysis

2. Env.Exampleを.envファイルにコピーします

   cp .env.example .env

3. 環境変数をAPIキーに置き換えます
4. ローカル画像を作成します

   docker compose up

Dockerなしで実行しています

ノードがインストールされていると仮定します（このプロジェクトではノード20.12.0を使用します）：プロジェクトはNextJS Frontendを使用し、nextjsインストール手順はhttps://nextjs.org/docs/getting-started/installationで見つかります

1. NextJSディレクトリに移動します

    cd nextjs

2. すべてのNextJSおよびノー​​ド依存関係をインストールします

   npm install
   # or
   pnpm install

3. PIP依存関係をインストールします

   pip install -r ../backend/requirements.txt

4. プロジェクトを実行します

    npm run dev
   

   注：Windowsを使用していて、レポートを生成する場合は、wkhtmltopdf https://wkhtmltopdf.org/downloads.htmlのインストーラーをダウンロードし、envファイルの実行可能パスを指定する必要があります。

このプロジェクトは、生成されたPythonコードを実行します。仮想環境またはコンテナ内でプロジェクトを実行することをお勧めします。

プロジェクトの軌跡

短期

• セッションストレージを有効にします（次のJS認証を備えたPostgresエンドポイントを介して）
• エージェントの構成（より多くのエージェント=より多くの機能）、および特定のタイプの分析のための専門化
• 特定のノードでフォローアップの質問または分析リクエストを尋ねるオプション
• 複数のLLMプロバイダーの組み込み（Openaiは、広範囲にテストされた唯一のものです）

中期

• カスタム分析または洞察を使用して、ユーザーが独自のノードを追加する能力
• より多くのファイルタイプをサポートします
• テキストデータと分析を処理するためのGraphRagシステムを実装する
• 特定のエージェント指令のための思考の推論とメタ採用

長期

• レポート全体/原稿をアップロードし、変更できる独自のフローに変換する能力
• 既存の分析の拡張を自動化するためのツール
• 迅速な分析計画と原稿作成への追加の研究ツールの組み込み

既知のバグ

• フロントエンド
  • 場合によっては、ページが読み込まれ、「ファイルの選択」ダイアログが動作できなくなります。ページを更新すると、通常、この問題が解決されます
  • たまに、選択したファイルを送信すると、「ファイルの選択」オプションに戻ります。ファイルをもう一度選択するだけで2回目は機能します
  • コードや洞察などのテキスト要素は、現在強調表示されてコピーすることはできません。これは、特定のDOM要素がそれらの上のマウスイベントに提示されていることの問題のようであり、私は解決策に取り組んでいます。
  • 特定のテーブルを扱うとき、SVGエクスポートはエラーに遭遇します
• バックエンド
  • 時折、LLMコーダーがプロットの図を印刷しようとします。これはテキスト形式でノードとして追加されます
  • 場合によっては、LLMコーダーがその出力を完成エンドポイントへの独自の呼び出しに戻し、多くの場合、> Max Tokensリクエストになります。現在の実装では、最大3回のレトリを可能にし、1つは一般的に十分です。

貢献/連絡先

このプロジェクトに取り組むのに役立ちたいです。プロジェクトの支援に興味がある場合、または他の質問や懸念がある場合、私に連絡する最良の方法は[email protected]にメールで送信されます。

ライセンス

このプロジェクトは、MITライセンスに基づいてライセンスされています。詳細については、ライセンスファイルを参照してください。

このプロジェクトまたはそのサブセットを使用している場合は、お知らせください！私はあなたが創造できるものを見たいです:)