CheatSheet Langchain Project

Projeto de agente da IA: extração automatizada de dados

Este projeto aproveita um agente de IA para extração e processamento automatizados de dados. O sistema permite que os usuários enviem um arquivo CSV ou conectem a uma planilha do Google e interaja com os dados usando consultas de linguagem natural. O agente gera código Python com base na consulta, executa o código para manipular os dados e apresenta o resultado em vários formatos, como uma tabela, plotagem ou string ou raspa dados úteis para o seu arquivo.

Tabela de conteúdo

• Introdução
• Características
• Instalação
• Uso
• Estrutura do projeto
• Manuseio de erros
• Licenças

Características

• Seleção da fonte de dados: escolha entre fazer upload de um arquivo CSV ou conectar uma folha do Google.
• Consultas de linguagem natural: interaja com os dados usando consultas de linguagem natural (por exemplo, "Obtenha -me o endereço de e -mail de {Company}").
• Geração de código dinâmico: o sistema gera código Python com base na consulta, que é executada para manipular os dados.
• Formatos de saída: Os resultados são exibidos em diferentes formatos, como tabelas, gráficos (barra/torta) ou cordas, dependendo da consulta.
• Manuseio de erro: o manuseio robusto de erro garante interação suave do usuário, mesmo em caso de problemas como formatos de arquivo inválidos ou erros de manipulação de dados.

Link de implantação

• Aplicativo de trapaça no streamlit

Instalação

Para executar este projeto, você precisa de Python 3.7 ou posterior. O projeto usa várias bibliotecas de terceiros que podem ser instaladas via PIP.

• Clone o repo

    git clone https://github.com/UjjawalGusain/CheatSheet-Langchain-Project.git
    cd Langchain-Web-Agent

• Instale dependências: crie um ambiente virtual e instale as bibliotecas necessárias:

    python3 -m venv venv
    source venv/bin/activate  # On Windows, use `venvScriptsactivate`
    pip install -r requirements.txt

• Configure a API do Google Sheets:

  • Obtenha suas credenciais da API do Google seguindo as etapas da documentação da API do Google Sheets.
  • Faça o download do arquivo credenciais.json e coloque -o no diretório raiz do projeto.

• Execute o aplicativo:

    streamlit run dashboard.py

Depois de executar este comando, o aplicativo será iniciado e você poderá acessá -lo através do seu navegador.

API

Este projeto utiliza várias APIs para lidar com diferentes operações, incluindo raspagem de dados e interação com o modelo. As APIs integradas são:

• API GROQ:

  • Modelo: llama-3.1-70b-versatile

  • Objetivo: A API Groq é usada para interagir com o modelo de linguagem grande para gerar respostas, executar operações no conjunto de dados e lidar com consultas complexas. O modelo LLAMA-3.1-70B-versátil é utilizado para a compreensão e geração de linguagem natural eficiente, ajudando a processar consultas e produzir resultados acionáveis.

  • Uso:

    • A API é chamada para processar consultas relacionadas aos dados, incluindo operações como extração, filtragem e resumos de geração. A resposta do modelo ajuda a moldar as operações aplicadas ao conjunto de dados.

    • Os avisos usados ​​para o modelo são estruturados em um formato específico para garantir a resposta desejada e evitar erros durante a execução.

• API raspadora:

  • Objetivo: A API de raspador é usada para coletar dados adicionais de fontes externas e anexar esses dados ao conjunto de dados.

  • Uso:

    • Depois que o conjunto de dados é processado e as operações necessárias são executadas, a API de raspador ajuda a enriquecer os dados com colunas adicionais descartadas de recursos externos. Isso é feito adicionando uma coluna "raspada" ao quadro de dados.

Uso

Carregar dados:

• Selecione uma fonte de dados na barra lateral: faça o upload do CSV ou conecte as folhas do Google.

  • Se enviar um CSV, escolha um arquivo para fazer upload. Se estiver conectado às folhas do Google, forneça o URL da folha.

• Digite uma consulta:

  • Na área principal do aplicativo, insira uma consulta de linguagem natural na caixa de entrada. Por exemplo, "Obtenha -me o endereço de e -mail de {Company}".

• Ver Resultados:

  • Com base na consulta, o agente da IA ​​gerará código Python, a aplicará aos dados e retornará o resultado. Os resultados podem ser exibidos como tabelas, parcelas ou cordas.

Desafios encontrados

• Formatação e complexidade rápidas: um desafio significativo era garantir que os avisos passados ​​para o modelo fossem formatados e manuseados corretamente pelo sistema. O modelo necessário para gerar respostas precisas com base na estrutura e complexidade das consultas. Também era importante manter a clareza e a consistência na maneira como as informações foram extraídas e apresentadas ao usuário, especialmente com consultas complexas.

• Gerenciando riscos de segurança com LLMS: Aproveitando grandes modelos de linguagem (LLMS) introduziu riscos potenciais de segurança, particularmente em relação à privacidade de dados e ao tratamento de informações confidenciais. Garantir que nenhum dado confidencial ou privado fosse inadvertidamente exposto ao interagir com o modelo era um aspecto crítico do processo de desenvolvimento. Tivemos que implementar salvaguardas para minimizar esses riscos ao usar o LLMS para gerar código e processar dados.

Vídeo de demonstração do projeto:

graving_langchain.1.mp4