qa_llm

Pipeline de resposta a perguntas com Vectordb e grandes modelos de linguagem (LLM)

Visão geral:

Bem-vindo ao oleoduto de resposta à pergunta com o Vectordb e os grandes modelos de idiomas (LLM). Este projeto tem como objetivo criar um pipeline eficiente e escalável para tarefas de resposta a perguntas usando o Chromadb, que é um banco de dados de vetor de código aberto, em conjunto com o LLAMA2, que também é um modelo de linguagem de grande porte de código aberto (LLM).

Fluxo de trabalho:

1. Entrada do usuário: os usuários fornecem fontes de dados textuais em formatos como .pdf. Esses documentos servem como base para gerar respostas.

2. Carregamento de documentos: O carregador de documentos de Langchain é empregado para carregar e pré -processar com eficiência os documentos fornecidos, garantindo a compatibilidade com tarefas a jusante.

3. Chunking de documentos: Os documentos carregados são divididos em pedaços menores e gerenciáveis ​​para melhorar a eficiência do processo de resposta à pergunta.

4. Incorporando o armazenamento no VectordB (Chromadb): As incorporações dos Chunks são geradas e armazenadas no Chromadb, a tecnologia subjacente da VectordB, permitindo uma recuperação de informações rápidas e precisas.

5. Processamento de consultas: as consultas do usuário são convertidas em incorporação, permitindo uma comparação perfeita com as incorporações de documentos armazenados.

6. Pesquisa de banco de dados vetorial: O VectordB é consultado com as incorporações geradas para recuperar pedaços relevantes de informações, otimizando o processo de resposta à pergunta.

7. Processamento LLM (LLAMA2): As incorporações recuperadas são passadas para o LLAMA2, um LLM, que gera respostas precisas e com reconhecimento de contexto para consultas do usuário.

Começando

Para iniciar o pipeline de resposta à pergunta, os usuários precisam fornecer suas fontes de dados textuais em formatos suportados (o formato atualmente suportado é: PDF, CSV, HTML, XLSX, DOCX, XML, JSON ). Siga a próxima seção para garantir a instalação e a configuração adequadas das dependências.

Como executar o guia

Siga estas etapas para executar o pipeline de resposta à pergunta com sucesso:

1. Instale dependências: verifique se você possui todas as dependências necessárias instaladas. Execute os seguintes comandos em uma célula de notebook:

    !pip install langchain
   !pip install PyPDF
   !pip install sentence_transformers
   !pip install chromadb
   !pip install accelerate
   !pip install bitsandbytes
   !pip install jq
   !pip install unstructured
   

2. Personalize parâmetros:

   Abra o notebook e localize os seguintes parâmetros:

   • JQ_SCHEMA: Personalize este parâmetro de acordo com o seu esquema de dados. Defina a estrutura dos seus dados textuais para obter o carregamento e processamento adequados.

   • input_path: especifique o caminho para sua fonte de dados textual, como um arquivo .pdf. Verifique se o caminho está definido corretamente para o seu documento.

3. Abraçando o token de autorização de rosto: certifique -se de obter um token de autorização de abraçar o rosto para baixar o modelo LLAMA2. Este token é crucial para acessar o modelo. Defina o token na seção apropriada do notebook.

4. Execute o caderno: execute a célula Jupyter Notebook por célula. Verifique se cada célula é executada com sucesso sem erros.

Contribuições

Congratulamo -nos com contribuições e feedback da comunidade. Se você identifica problemas, tem sugestões de melhorias ou deseja estender a funcionalidade, sua entrada é valiosa para nós. Sinta -se à vontade para contribuir com o projeto. Obrigado por explorar nosso projeto.