AI Data Analysis MultiAgent

AI主導の研究助手

概要

これは、データ分析、視覚化、レポート生成などのタスクを支援するために複数の専門エージェントを利用する高度なAI駆動の研究アシスタントシステムです。このシステムは、Langchain、OpenaiのGPTモデル、およびLanggraphを採用して複雑な研究​​プロセスを処理し、最適なパフォーマンスのために多様なAIアーキテクチャを統合します。

重要な機能

• 仮説の生成と検証
• データ処理と分析
• 視覚化の作成
• Web検索と情報の取得
• コード生成と実行
• 書くことを報告します
• 質の高いレビューと改訂
• 多様な建築統合：
  • 分析プロセスを監督するための監督エージェント
  • 複雑な問題解決のための考え方の推論
  • 品質保証とエラーチェックの批評家エージェント
• 革新的なメモテイカーエージェント：
  • プロジェクトの現在の状態を継続的に記録します
  • 完全な履歴情報を送信するためのより効率的な代替品を提供します
  • さまざまな分析段階でコンテキストと継続性を維持するシステムの能力を高める
• 適応ワークフロー：手元のデータとタスクに基づいて分析アプローチを動的に調整します

なぜそれがユニークなのか

専用のメモTakerエージェントの統合により、このシステムは従来のデータ分析パイプラインと区別されます。プロジェクトの状態の簡潔でありながら包括的な記録を維持することにより、システムは次のとおりです。

1. 計算オーバーヘッドを減らします
2. さまざまな分析フェーズ全体でコンテキスト保持を改善します
3. より一貫性のある一貫した分析結果を有効にします

システム要件

• Python 3.10以降
• Jupyterノートブック環境

インストール

1. リポジトリをクローンします：

git clone https://github.com/starpig1129/ai-data-analysis-MulitAgent.git

2. コンドラの仮想環境を作成してアクティブ化します。

conda create -n data_assistant python=3.10
conda activate data_assistant

3. 依存関係をインストールします：

pip install -r requirements.txt

4. 環境変数の設定： .env Exampleを.envに変更し、すべての値を入力します

 # Your data storage path(required)
DATA_STORAGE_PATH =./data_storage/

# Anaconda installation path(required)
CONDA_PATH = /home/user/anaconda3

# Conda environment name(required)
CONDA_ENV = envname

# ChromeDriver executable path(required)
CHROMEDRIVER_PATH =./chromedriver-linux64/chromedriver

# Firecrawl API key (optional)
# Note: If this key is missing, query capabilities may be reduced
FIRECRAWL_API_KEY = XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

# OpenAI API key (required)
# Warning: This key is essential; the program will not run without it
OPENAI_API_KEY = XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

# LangChain API key (optional)
# Used for monitoring the processing
LANGCHAIN_API_KEY = XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

使用法

1. Jupyterノートブックを開始：

2. yourdataname.csvをdata_storageに設定します

3. main.ipynbファイルを開きます。

4. すべてのセルを実行してシステムを初期化し、ワークフローを作成します。

5. 最後のセルでは、 userInput変数を変更して、研究タスクをカスタマイズできます。

6. 最後のいくつかのセルを実行して、研究プロセスを実行し、結果を表示します。

主なコンポーネント

• hypothesis_agent ：研究仮説を生成します
• process_agent ：研究プロセス全体を監督します
• visualization_agent ：データの視覚化を作成します
• code_agent ：データ分析コードを書き込みます
• searcher_agent ：文献とWeb検索を実施します
• report_agent ：研究レポートを書いています
• quality_review_agent ：品質レビューを実行します
• note_agent ：研究プロセスを記録します

ワークフロー

このシステムは、Langgraphを使用して、研究プロセス全体を管理する状態グラフを作成します。ワークフローには、次の手順が含まれています。

1. 仮説生成
2. 人間の選択（仮説を継続または再生する）
3. 処理（データ分析、視覚化、検索、レポートの書き込みを含む）
4. 品質レビュー
5. 必要に応じて改訂

カスタマイズ

main.ipynbでエージェントの作成とワークフロー定義を変更することにより、システムの動作をカスタマイズできます。

メモ

• システムが複数のAPI呼び出しを行うため、十分なOpenAI APIクレジットがあることを確認してください。
• システムは、タスクの複雑さに応じて、研究プロセス全体を完了するのに時間がかかる場合があります。
• 警告：エージェントシステムは、分析対象のデータを変更する場合があります。このシステムを使用する前に、データをバックアップすることを強くお勧めします。

現在の問題と解決策

1. OpenAI内部サーバーエラー（エラーコード：500）
2. Notetaker効率の改善
3. 全体的なランタイム最適化
4. 精製業者はより良いものである必要があります

貢献

プルリクエストは大歓迎です。大きな変更については、最初に問題を開いて、何を変えたいかを議論してください。

ライセンス

このプロジェクトは、MITライセンスに基づいてライセンスされています。詳細については、ライセンスファイルを参照してください。

星の歴史

その他のプロジェクト

他の注目すべきプロジェクトのいくつかは次のとおりです。

Sharelmapi

Sharelmapiは、Fastapiを使用してインターフェイスを提供するAPIを共有するローカル言語モデルであり、異なるプログラムまたはデバイスが同じローカルモデルを共有できるため、リソースの消費を削減します。ストリーミング生成とさまざまなモデル構成方法をサポートします。

• Github：Sharelmapi

Pigpig：高度なマルチモーダルLLM Discordボット：

自然言語を介してユーザーと対話するように設計されたマルチモーダル大手言語モデル（LLM）に基づく強力な不一致ボット。高度なAI機能と実用的な機能を組み合わせて、不和コミュニティに豊富な体験を提供します。

• Github：ai-discord-bot-pigpig