AI Data Analysis MultiAgent

AI 중심 연구 조교

개요

이는 여러 전문 에이전트를 활용하여 데이터 분석, 시각화 및 보고서 생성과 같은 작업을 지원하는 고급 AI 기반 연구 보조 시스템입니다. 이 시스템은 Langchain, OpenAI의 GPT 모델 및 Langgraph를 사용하여 복잡한 연구 프로세스를 처리하여 다양한 AI 아키텍처를 최적의 성능을 통합합니다.

주요 기능

• 가설 생성 및 검증
• 데이터 처리 및 분석
• 시각화 생성
• 웹 검색 및 정보 검색
• 코드 생성 및 실행
• 보고서 작성
• 품질 검토 및 개정
• 다양한 건축 통합 :
  • 분석 프로세스 감독 에이전트
  • 복잡한 문제 해결에 대한 사슬의 추론
  • 품질 보증 및 오류 점검을위한 비평가 요원
• 혁신적인 메모 테이커 에이전트 :
  • 프로젝트의 현재 상태를 지속적으로 기록합니다
  • 완전한 역사적 정보를 전송하는 데보다 효율적인 대안을 제공합니다.
  • 다양한 분석 단계에서 컨텍스트와 연속성을 유지하는 시스템의 능력을 향상시킵니다.
• 적응 형 워크 플로 : 데이터 및 작업에 따라 분석 방식을 동적으로 조정합니다.

독특한 이유

전용 메모 테이커 에이전트의 통합은이 시스템을 기존 데이터 분석 파이프 라인과 차별화시킵니다. 프로젝트 상태에 대한 간결하면서도 포괄적 인 기록을 유지함으로써 시스템은 다음을 수행 할 수 있습니다.

1. 계산 간접비를 줄입니다
2. 다른 분석 단계에서 상황 유지를 향상시킵니다
3. 보다 일관되고 일관된 분석 결과를 활성화하십시오

시스템 요구 사항

• 파이썬 3.10 이상
• Jupyter 노트북 환경

설치

1. 저장소 복제 :

git clone https://github.com/starpig1129/ai-data-analysis-MulitAgent.git

2. 콘다 가상 환경을 만들고 활성화하십시오.

conda create -n data_assistant python=3.10
conda activate data_assistant

3. 종속성 설치 :

pip install -r requirements.txt

4. 환경 변수 설정 : .env Example .env 로 바꾸고 모든 값을 채우십시오.

 # Your data storage path(required)
DATA_STORAGE_PATH =./data_storage/

# Anaconda installation path(required)
CONDA_PATH = /home/user/anaconda3

# Conda environment name(required)
CONDA_ENV = envname

# ChromeDriver executable path(required)
CHROMEDRIVER_PATH =./chromedriver-linux64/chromedriver

# Firecrawl API key (optional)
# Note: If this key is missing, query capabilities may be reduced
FIRECRAWL_API_KEY = XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

# OpenAI API key (required)
# Warning: This key is essential; the program will not run without it
OPENAI_API_KEY = XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

# LangChain API key (optional)
# Used for monitoring the processing
LANGCHAIN_API_KEY = XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

용법

1. Jupyter Notebook 시작 :

2. data_storage에서 yourdataname.csv를 설정하십시오

3. main.ipynb 파일을 엽니 다.

4. 모든 셀을 실행하여 시스템을 초기화하고 워크 플로를 만듭니다.

5. 마지막 셀에서는 userInput 변수를 수정하여 연구 작업을 사용자 정의 할 수 있습니다.

6. 최종 몇 개의 셀을 실행하여 연구 과정을 실행하고 결과를 봅니다.

주요 구성 요소

• hypothesis_agent : 연구 가설을 생성합니다
• process_agent : 전체 연구 프로세스를 감독합니다
• visualization_agent : 데이터 시각화를 만듭니다
• code_agent : 데이터 분석 코드를 작성합니다
• searcher_agent : 문헌 및 웹 검색을 수행합니다
• report_agent : 연구 보고서를 작성합니다
• quality_review_agent : 품질 리뷰를 수행합니다
• note_agent : 연구 과정을 기록합니다

워크 플로

이 시스템은 langgraph를 사용하여 전체 연구 과정을 관리하는 상태 그래프를 만듭니다. 워크 플로에는 다음 단계가 포함됩니다.

1. 가설 생성
2. 인간의 선택 (계속 또는 재생성 가설)
3. 처리 (데이터 분석, 시각화, 검색 및 보고서 작성 포함)
4. 품질 검토
5. 필요에 따라 개정

사용자 정의

main.ipynb 에서 에이전트 생성 및 워크 플로 정의를 수정하여 시스템 동작을 사용자 정의 할 수 있습니다.

메모

• 시스템이 여러 API 호출을 할 수 있으므로 충분한 OpenAI API 크레딧이 있는지 확인하십시오.
• 시스템은 작업의 복잡성에 따라 전체 연구 과정을 완료하는 데 약간의 시간이 걸릴 수 있습니다.
• 경고 : 에이전트 시스템은 분석중인 데이터를 수정할 수 있습니다. 이 시스템을 사용하기 전에 데이터를 백업하는 것이 좋습니다.

현재 문제 및 솔루션

1. OpenAi 내부 서버 오류 (오류 코드 : 500)
2. Notetaker 효율성 개선
3. 전반적인 런타임 최적화
4. 정제소가 더 나아질 필요가 있습니다

기여

풀 요청을 환영합니다. 주요 변경 사항을 위해 먼저 문제를 열어 변경하고 싶은 것을 논의하십시오.

특허

이 프로젝트는 MIT 라이센스에 따라 라이센스가 부여됩니다. 자세한 내용은 라이센스 파일을 참조하십시오.

스타 역사

다른 프로젝트

다음은 다른 주목할만한 프로젝트입니다.

Sharelmapi

SharelMapi는 FastApi를 사용하여 인터페이스를 제공하여 다른 프로그램이나 장치가 동일한 로컬 모델을 공유하여 자원 소비를 줄일 수있는 현지 언어 모델 공유 API입니다. 스트리밍 생성 및 다양한 모델 구성 방법을 지원합니다.

• Github : Sharelmapi

Pigpig : 고급 멀티 모달 LLM Discord Bot :

자연 언어를 통해 사용자와 상호 작용하도록 설계된 멀티 모달 대형 언어 모델 (LLM)을 기반으로 한 강력한 불화 봇. 고급 AI 기능을 실용적인 기능과 결합하여 불화 커뮤니티에 풍부한 경험을 제공합니다.

• github : ai-discord-bot-pigpig