Retrieval Augmented Generation Engine with LangChain and Streamlit

Motor de geração aumentada de recuperação usando Langchain, Streamlit e Pinecone

Acesso Acesso na plataforma de cloud de streamlit

Visão geral

O mecanismo aumentado de recuperação (RAG) é uma ferramenta poderosa para recuperação de documentos, resumo e resposta interativa para perguntas. Este projeto utiliza Langchain, Streamlit e Pinecone para fornecer um aplicativo da Web contínuo para os usuários executarem essas tarefas. Com o RAG, você pode fazer upload facilmente de vários documentos em PDF, gerar incorporações vetoriais para texto nesses documentos e executar interações conversacionais com os documentos. A história do bate -papo também é lembrada por uma experiência mais interativa.

Características

• Aplicativo da Web StreamLit : o projeto é criado usando o Streamlit, fornecendo uma interface da Web intuitiva e interativa para os usuários.
• Campos de entrada : os usuários podem inserir credenciais essenciais como a chave da API OpenAI e a chave da API Pinecone através de campos de entrada dedicados.
• Uploader de documentos : os usuários podem fazer upload de vários arquivos PDF, que são processados ​​para análises adicionais.
• Divisão de documentos : Os PDFs carregados são divididos em pedaços de texto menores, garantindo compatibilidade com modelos com limites de token.
• INCLIMENTOS DE VECTOR : Os pedaços de texto são convertidos em incorporações de vetor, facilitando o desempenho das tarefas de recuperação e resposta a perguntas.
• Armazenamento de vetores flexíveis : você pode optar por armazenar incorporações vetoriais no Pinecone ou em uma loja de vetores locais, fornecendo flexibilidade e controle.
• Conversas interativas : os usuários podem se envolver em conversas interativas com os documentos, fazendo perguntas e recebendo respostas. O histórico de bate -papo é preservado para referência.

Pré -requisitos

Antes de executar o projeto, verifique se você possui os seguintes pré -requisitos:

• Python 3.7+
• Langchain
• Simplit
• Pinecone
• Uma chave de API OpenAi
• Documentos em PDF para fazer upload

Uso

1. Clone o repositório da sua máquina local:

   git clone https://github.com/mirabdullahyaser/Retrieval-Augmented-Generation-Engine-with-LangChain-and-Streamlit.git
   cd Retrieval-Augmented-Generation-Engine-with-LangChain-and-Streamlit

2. Instale as dependências necessárias em execução:

   pip install -r requirements.txt

3. Execute o aplicativo StreamLit:

   streamlit run src/rag_engine.py

4. Acesse o aplicativo abrindo um navegador da web e navegando no URL fornecido.

5. Insira sua chave da API do OpenAI, chave da API Pinecone, ambiente de pinecone e nome de índice de Pinecone nos respectivos campos. Você pode fornecê -los na barra lateral do aplicativo ou colocá -los no arquivo Secrets.toml no diretório .streamlit

6. Carregue os documentos em PDF que você deseja analisar.

7. Clique no botão "Enviar documentos" para processar os documentos e gerar incorporação de vetores.

8. Envolva -se em conversas interativas com os documentos digitando suas perguntas na caixa de entrada de bate -papo.

Colaboradores

Mir Abdullah Yaser

Contato

Se você tiver alguma dúvida, sugestão ou gostaria de discutir ainda mais este projeto, fique à vontade para entrar em contato comigo:

• E-mail
• LinkedIn

Estou aberto à colaboração e ficaria feliz em me conectar!