marat agent data analysis

Marat - Análise de dados usando agentes baseados em LLM

O que

O MARAT ("MUH-RAH") é uma ferramenta de análise e visualização de dados que facilita a análise de dados exploratórios, desde informações temáticas gerais de AI para análises específicas ou solicitações de visualização do usuário.

Por que

Análise de dados atuais As implementações que alavancam a IA conversacional são principalmente interrogativas, com o usuário conversando com uma versão personificada dos dados. Embora isso seja bastante útil, acredito que não maximize o benefício da IA ​​em entender os dados. Nós tendemos a não ver insights e informações como elementos separados interagidos em uma dialética, mas como uma rede de entendimento, com idéias ligando para formar um entendimento completo das informações de dados. Este projeto representa uma tentativa de prova de conceito de implementar melhor essa visão da análise.

Como

Marat usa um front-end ao estilo FlowChart NextJS para visualizar e coordenar a análise de dados por meio de agentes do Python baseado em Python. O FASTAPI é usado para enviar informações para a base do Python, onde a análise é conduzida e enviada de volta ao Frontend do NextJS para ser visualizada e organizada.

Caso de uso de amostra

Vá para a página principal do painel (localhost: 3000/painel) e faça o upload do seu arquivo de dados CSV quando solicitado. Quando o prompt de pergunta aparecer, você pode fazer uma pergunta específica (ou seja, gerar uma regressão linear entre tamanho e custo) ou uma pergunta ampla (ou seja, me diga tudo, o que contribui para as mudanças no preço, etc.). Para gerar um relatório, selecione os nós que você deseja incluir e clique em "Gerar relatório de nós selecionados". O relatório será gerado como um PDF e pode ser baixado na página /Relatórios.

Características

• Ampla gama de opções de análise : análises de regressão, visualizações de plotagem, análises de cluster, etc.
• Relatório Geração : Selecionando os nós em que você está interessado e clique em "Gerar revisão de nós selecionados" (os relatórios aparecerão na página "Relatórios")
• Layouts do nó : selecione "layout vertical" ou "layout horizontal" para realinhar automaticamente os nós inseridos ou movê -los ao seu gosto
• Revisão do código : selecione o expansor "Mostrar código" para revelar o código Python usado para renderizar qualquer análise
• Exportação SVG : Se você deseja salvar suas análises visualizadas, selecione "Exportar para SVG"

Estrutura de arquivo

Todo o código Frontend NextJS está localizado na pasta 'NextJs'. Atualmente, o TypeScript não está definido no modo de script, mas estou planejando atualizar isso assim que todas as configurações de tipo forem totalmente adicionadas.

As configurações Langgraph e agente podem ser encontradas na pasta de back-end, com as definições do agente e a configuração do gráfico encontradas no back-end-> api-> agents-> agents.py e backend-> api-> agent_graph-> graph.py, respectivamente. A configuração do back-end do FASTAPI está no back-end-> api-> test.py, com a coordenação das respostas de Langgraph sendo encontradas em Langchain_base-> langchain.py. As configurações de modelo podem ser encontradas no diretório de modelos de back-end-> API->. Todos os avisos estão localizados no back-end-> api-> slots-> prompts.py

Grande parte do esquema e implementação vem deste projeto, que também apresenta um excelente material de aprendizado.

Instalação

Docker

A maneira mais fácil de instalar e começar é através do Docker. Você pode puxar a imagem pré-construída ou criar a imagem localmente.

Puxe a imagem do Docker do DockerHub

1. Para obter a versão mais recente das imagens NextJs e Python Backend:

   docker pull nbritt27/marat-agent-data-analysis:frontendv1.0
   docker pull nbritt27/marat-agent-data-analysis:backendv1.0

2. Para executar a imagem do front -end:

   docker run -p 3000:3000 --name marat-frontend -d marat-agent-data-analysis:frontend

3. Para executar a imagem de back -end, você terá que fornecer sua própria chave de API do OpenAI. Isso pode ser feito como um argumento de palavra -chave:

   docker run -p 8000:8000 --name marat-agent-data-analysis-backend -d 
   -e OPENAI_API_KEY=your_api_key 
   marat-agent-data-analysis-backend:v1.0

Construa a imagem localmente

1. Clone o repositório

   git clone https://github.com/nbritt27/marat-agent-data-analysis.git
   cd marat-agent-data-analysis

2. Copie o Env.Exemplo no seu arquivo .env

   cp .env.example .env

3. Substitua as variáveis ​​de ambiente pelas suas teclas de API
4. Compor a imagem local

   docker compose up

Correndo sem Docker

Supondo que você tenha o nó instalado (este projeto usa o nó 20.12.0): o projeto usa um front-end NextJS, com as instruções de instalação do NextJS encontradas em https://nextjs.org/docs/getting-start/installation

1. Mova -se para o diretório NextJS

    cd nextjs

2. Instale todas as próximas dependências de nó e nó

   npm install
   # or
   pnpm install

3. Instalar dependências pip

   pip install -r ../backend/requirements.txt

4. Para executar o projeto

    npm run dev
   

   Nota: Se você estiver usando o Windows e desejar gerar relatórios, precisará fazer o download do instalador para wkhtmltopdf https://wkhtmltopdf.org/downloads.html e especifique o caminho executável no arquivo Env.

Este projeto executa o código Python gerado. É recomendável executar o projeto dentro de um ambiente ou contêiner virtual.

Trajetória do projeto

Curto prazo

• Ativar armazenamento de sessão (provavelmente através de um terminal de pós -gres com a autenticação NextJS)
• Atualizar configurações do agente (mais agentes = mais funcionalidade) e especialização para certos tipos de análise
• Opções para fazer perguntas de acompanhamento ou solicitação de análise em nós específicos
• Incorporação de múltiplos fornecedores de LLM (o OpenAI é o único que foi extensivamente testado)

Médio prazo

• Capacidade para os usuários adicionarem seus próprios nós com análises ou insights personalizados
• Suporte para mais tipos de arquivo
• Implementar um sistema Graphrag para lidar com dados e análises de texto
• Cadeia de raciocínio de pensamento e meta-criação para certas diretivas de agentes

A longo prazo

• Capacidade de fazer upload de relatórios/manuscritos inteiros e convertê -los em seu próprio fluxo que pode ser modificado
• Ferramentas para automatizar a expansão das análises existentes
• Incorporação de ferramentas de pesquisa adicionais para acelerar o planejamento da análise e a criação do manuscrito

Bugs conhecidos

• Front-end
  • Ocasionalmente, a página carregará e a caixa de diálogo "Escolha o arquivo" é inoperante. Atualizar a página normalmente resolve este problema
  • Ocasionalmente, o envio do arquivo escolhido o retornará à opção "Escolha o arquivo". Simplesmente escolher o arquivo novamente funciona na segunda vez
  • Atualmente, os elementos de texto, como código e insights, não podem ser destacados e copiados. Isso parece ser um problema com certos elementos de DOM sendo apresentados aos eventos de mouse acima deles, e estou trabalhando em uma solução.
  • Ao lidar com certas tabelas, a exportação do SVG encontrará um erro
• Back -end
  • Ocasionalmente, o codificador LLM tentará imprimir a figura da plotagem, que é então adicionada na forma de texto como um nó
  • Ocasionalmente, o codificador LLM exportará sua saída de volta para sua própria chamada para o terminal de conclusão, geralmente resultando em uma solicitação de tokens máximos. A atual implementação permite um máximo de três tentativas, sendo uma geralmente sendo suficiente.

Contribuir/contato

Eu adoraria assistência para trabalhar neste projeto. Se você estiver interessado em ajudar com o projeto ou ter outras perguntas ou preocupações, a melhor maneira de me alcançar é por e -mail [email protected]

Licença

Este projeto está licenciado sob a licença do MIT - consulte o arquivo de licença para obter detalhes.

Se você usar este projeto ou qualquer subconjunto, entre em contato! Eu adoraria ver o que você é capaz de criar :)