AI Data Analysis MultiAgent

Assistente de pesquisa orientado a IA

Visão geral

Este é um sistema de assistente de pesquisa avançado de IA que utiliza vários agentes especializados para ajudar em tarefas como análise de dados, visualização e geração de relatórios. O sistema emprega Langchain, modelos GPT da OpenAI e Langgraph para lidar com processos de pesquisa complexos, integrando diversas arquiteturas de IA para o desempenho ideal.

Principais recursos

• Geração de hipóteses e validação
• Processamento e análise de dados
• Criação de visualização
• Pesquisa na Web e recuperação de informações
• Geração de código e execução
• Relatório Redação
• Revisão e revisão da qualidade
• Integração arquitetônica diversificada :
  • Agentes do supervisor para supervisionar o processo de análise
  • Raciocínio da cadeia de pensamento para solução complexa de problemas
  • Agentes críticos para garantia de qualidade e verificação de erros
• Nota inovadora Taker Agent :
  • Registra continuamente o estado atual do projeto
  • Fornece uma alternativa mais eficiente para transmitir informações históricas completas
  • Aprimora a capacidade do sistema de manter o contexto e a continuidade em diferentes etapas de análise
• Fluxo de trabalho adaptável : ajusta dinamicamente sua abordagem de análise com base nos dados e tarefas em questão

Por que é único

A integração de um agente de tomador de nota dedicado diferencia esse sistema dos pipelines de análise de dados tradicionais. Ao manter um registro conciso, porém abrangente, do estado do projeto, o sistema pode:

1. Reduza a sobrecarga computacional
2. Melhorar a retenção de contexto em diferentes fases de análise
3. Ativar resultados de análise mais coerentes e consistentes

Requisitos do sistema

• Python 3.10 ou superior
• Jupyter Notebook Ambiente

Instalação

1. Clone o repositório:

git clone https://github.com/starpig1129/ai-data-analysis-MulitAgent.git

2. Crie e ativar um ambiente virtual do CONDA:

conda create -n data_assistant python=3.10
conda activate data_assistant

3. Instale dependências:

pip install -r requirements.txt

4. Configurar variáveis ​​de ambiente: renomear .env Example para .env e preencher todos os valores

 # Your data storage path(required)
DATA_STORAGE_PATH =./data_storage/

# Anaconda installation path(required)
CONDA_PATH = /home/user/anaconda3

# Conda environment name(required)
CONDA_ENV = envname

# ChromeDriver executable path(required)
CHROMEDRIVER_PATH =./chromedriver-linux64/chromedriver

# Firecrawl API key (optional)
# Note: If this key is missing, query capabilities may be reduced
FIRECRAWL_API_KEY = XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

# OpenAI API key (required)
# Warning: This key is essential; the program will not run without it
OPENAI_API_KEY = XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

# LangChain API key (optional)
# Used for monitoring the processing
LANGCHAIN_API_KEY = XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

Uso

1. Inicie Jupyter Notebook:

2. Defina seudataname.csv em data_storage

3. Abra o arquivo main.ipynb .

4. Execute todas as células para inicializar o sistema e criar o fluxo de trabalho.

5. Na última célula, você pode personalizar a tarefa de pesquisa modificando a variável userInput .

6. Execute as poucas células para executar o processo de pesquisa e ver os resultados.

Componentes principais

• hypothesis_agent : gera hipóteses de pesquisa
• process_agent : supervisiona todo o processo de pesquisa
• visualization_agent : cria visualizações de dados
• code_agent : grava o código de análise de dados
• searcher_agent : realiza literatura e pesquisas na web
• report_agent : grava relatórios de pesquisa
• quality_review_agent : realiza análises de qualidade
• note_agent : registra o processo de pesquisa

Fluxo de trabalho

O sistema usa o Langgraph para criar um gráfico estadual que gerencia todo o processo de pesquisa. O fluxo de trabalho inclui as seguintes etapas:

1. Geração de hipóteses
2. Escolha humana (continue ou regenerar hipótese)
3. Processamento (incluindo análise de dados, visualização, pesquisa e redação de relatórios)
4. Revisão da qualidade
5. Revisão conforme necessário

Personalização

Você pode personalizar o comportamento do sistema modificando a criação do agente e a definição de fluxo de trabalho em main.ipynb .

Notas

• Certifique -se de ter créditos de API OpenAI suficientes, pois o sistema fará várias chamadas de API.
• O sistema pode levar algum tempo para concluir todo o processo de pesquisa, dependendo da complexidade da tarefa.
• Aviso : o sistema do agente pode modificar os dados que estão sendo analisados. É altamente recomendável fazer backup de seus dados antes de usar este sistema.

Questões e soluções atuais

1. Erro do servidor interno do OpenAI (código de erro: 500)
2. Melhoria da eficiência do Noteta
3. Otimização geral de tempo de execução
4. Refiner precisa ser melhor

Contribuindo

Solicitações de tração são bem -vindas. Para grandes mudanças, abra um problema primeiro para discutir o que você gostaria de mudar.

Licença

Este projeto está licenciado sob a licença do MIT - consulte o arquivo de licença para obter detalhes.

História da estrela

Outros projetos

Aqui estão alguns dos meus outros projetos notáveis:

Sharelmapi

O Sharelmapi é uma API de compartilhamento de modelo de idioma local que usa o FASTAPI para fornecer interfaces, permitindo que diferentes programas ou dispositivo compartilhem o mesmo modelo local, reduzindo assim o consumo de recursos. Ele suporta geração de streaming e vários métodos de configuração de modelo.

• Github: Sharelmapi

Pigpig: Bot Discord avançado Multi-Modal LLM:

Um poderoso bot discórdio baseado em modelos de linguagem grande multimodal (LLM), projetados para interagir com os usuários através da linguagem natural. Ele combina recursos avançados de IA com características práticas, oferecendo uma experiência rica para as comunidades de discórdia.

• Github: AI-Discord-Bot-Pigpig