rag console chat

Aplicativo de bate -papo para console de trapos: melhor recuperação de informações e geração

Visão geral

Bem -vindo ao aplicativo de bate -papo do RAG Console, uma ferramenta simples, mas poderosa, projetada para transformar a maneira como você interage e extraia informações dos vastos repositórios de documentos. Este projeto implementa a ingestão de documentos, a incorporação de geração e a geração de recuperação upentada (RAG). Se você deseja conversar com seus dados ou resumir tópicos complexos, o aplicativo de bate-papo do RAG Console é sua ferramenta preferida para o processamento inteligente de informações.

Tecnologias usadas

• Python : a espinha dorsal de nossa aplicação, fornecendo um ambiente de programação robusto e flexível.
• API OpenAI : utilizado para gerar incorporações e respostas, garantindo saídas de alta qualidade e contextualmente relevantes.
• Chromadb : Um poderoso banco de dados vetorial que armazena e recupera o documento incorporando com eficiência.
• Rico e questionário : bibliotecas para criar interfaces interativas e visualmente atraentes da linha de comando.

Conceitos e componentes

Geração de recuperação usededed (RAG)

RAG é uma nova abordagem que combina os pontos fortes da recuperação de informações e da geração de linguagem natural. Ele aprimora a qualidade das respostas geradas incorporando o contexto relevante de um grande corpus de documentos. O oleoduto RAG implementa isso:

1. Ingestão de documentos : Carregando e processando documentos de vários formatos (TXT, PDF, DOCX).
2. Geração de incorporação : usando os modelos do OpenAI para converter texto em vetores de alta dimensão que capturam significado semântico.
3. Vector Store : armazenando essas incorporações no Chromadb, permitindo pesquisas eficientes de similaridade.
4. Geração de respostas : utilizando pedaços de documentos recuperados para gerar respostas precisas e com consciência de contexto.

Banco de dados vetorial

Um banco de dados vetorial como o Chromadb é essencial para armazenar e consultar incorporação. Permite uma rápida recuperação de documentos semelhantes com base na similaridade vetorial, o que é crucial para o processo de RAG.

Incorporação

As incorporações são representações numéricas do texto que capturam informações semânticas. Eles permitem a comparação dos dados de texto de maneira significativa, facilitando tarefas como similaridade e cluster de documentos.

Características

• Modo de bate -papo interativo : envolva -se em uma interface de conversação para fazer perguntas e receber respostas com base no seu corpo de documento.
• Modo de resumo : gerar resumos concisos de tópicos usando os pedaços de documentos mais relevantes.
• Processamento de documentos : ingerir e processar documentos automaticamente, dividindo -os em pedaços gerenciáveis ​​para armazenamento e recuperação eficientes.
• Gerenciamento de incorporação : gerar e armazenar incorporações para novos documentos, garantindo que sua loja de vetores esteja sempre atualizada.
• Suporte de plataforma cruzada : execute perfeitamente o aplicativo no Windows, MacOS e Linux.
• Melhores práticas de codificação : utiliza conceitos e padrões de design como Singleton & Factory, juntamente com outras práticas recomendadas.
• Registro : usa o log para acompanhar as atividades do aplicativo em diferentes níveis.
• Rico e questionário : bibliotecas para criar interfaces interativas e visualmente atraentes da linha de comando.

Instruções de configuração

Para configurar o oleoduto RAG em sua máquina local, siga estas etapas:

1. Instale o Python 3.10+ : baixe e instale aqui

2. Instale as ferramentas de construção do Microsoft Visual Studio C ++ : é necessário para compilar algumas das dependências. Faça o download e instale aqui.

3. Clone o repositório :

   git clone https://github.com/olifarhaan/rag-console-chat.git
   cd rag-console-chat

4. Instale as dependências do Python : verifique se você possui o Python 3.8+ instalado. Em seguida, crie um ambiente virtual e instale os pacotes necessários:

   python -m venv venv
   source venv/bin/activate  # On Windows, use `venvScriptsactivate`
   pip install -r requirements.txt

5. Configurar variáveis ​​de ambiente : Crie um arquivo .env no diretório raiz e adicione sua tecla API OpenAI:

    OPENAI_API_KEY=your_openai_api_key
   

6. Execute o aplicativo : inicie o pipeline RAG executando:

   python app.py

7. Interaja com o aplicativo : use a interface da linha de comando para escolher entre os modos de bate-papo e resumo e explore os recursos do pipeline RAG.

Conclusão

O aplicativo de bate -papo do RAG Console é uma ferramenta simples, mas poderosa, projetada para aprimorar os recursos de processamento de documentos e recuperação de informações. Com seus recursos avançados e interface amigável, é uma prova do poder das tecnologias modernas da IA. Mergulhe no mundo do trapo e experimente o futuro dos sistemas de informação inteligentes hoje.

• Licenciamento : Este projeto está licenciado sob a licença do MIT. Você é livre para usar, modificar e distribuir o software, desde que o aviso original de licença e direitos autorais estejam incluídos em todas as cópias ou partes substanciais do software.

• Diagrama : O diagrama foi criado usando sereia.

• Contato : Para qualquer dúvida ou feedback, entre em contato com [email protected] ou envie uma mensagem no LinkedIn @olifarhaan.