airgapped offfline rag

Rano offline offline

Este projeto de Vincent Koc implementa um sistema de resposta à imposição de perguntas baseadas em geração de recuperação (RAG) para documentos. Ele usa modelos LLAMA 3, Mistral e Gemini para inferência local com llama C ++, Langchain para orquestração, Chromadb para armazenamento vetorial e simplidades para a interface do usuário.

Índice

• Rano offline offline
  • Índice
  • Configurar
  • Executando o aplicativo
    • Localmente
    • Usando o docker
  • Uso
  • Configuração
  • Características
    • Recursos suportados
    • Características futuras
  • Contribuindo
  • Licença
  • Agradecimentos

Configurar

1. Verifique se o Python 3.9 está instalado : você pode usar pyenv :

    pyenv install 3.9.16
   pyenv local 3.9.16
   pyenv rehash
   

2. Crie um ambiente virtual e instale dependências :

    make setup
   

3. Download Modelos : Faça o download dos modelos LLAMA 3 (8B) e MISTRAL (7B) no formato GGUF e coloque -os nos models/ diretórios. TheBloke On Hugging Face compartilhou os modelos aqui:

   • Mistral-7b-Instruct-V0.2-GGUF
   • LLAMA-PRO-8B-INSTRUCT-GGUF

   Os modelos da unsloth também foram testados e podem ser encontrados aqui:

   • Gemma-2-2b-it.q2_k.gguf
   • Llama-3.2-3b-Instruct-q2_k.gguf

4. Modelo de transformador de sentença QDRANT : Isso será baixado automaticamente na primeira execução. Se estiver executando o pano de ar localmente, é melhor executar a base de código com acesso à Internet inicialmente para baixar o modelo.

Executando o aplicativo

Localmente

 make run

Usando o docker

 make docker-build
make docker-run

Uso

1. Carregue documentos em PDF usando o uploader de arquivo.
2. Selecione o modelo que você deseja usar (por exemplo, Mistral).
3. Digite sua pergunta na entrada de texto.
4. Clique em "Gerear resposta" para obter uma resposta com base no conteúdo do documento.

Configuração

Ajuste as configurações no config.yaml para modificar os caminhos do modelo, tamanhos de bloco e outros parâmetros.

Características

Recursos suportados

• Inferência local na llama c ++
• Suporte ao modelo para llama 3 (3 e 3.1)
• Suporte de modelo para Mistral
• Suporte de modelo para Gêmeos
• Suporte para modelos quantizados
• Documentar o upload e processamento
• Sistema de resposta à pergunta
• Modelo de transformador de frase para armazenamento vetorial
• Integração com o streamlit para interface do usuário
• Suporte para respostas de streaming

Características futuras

• Integração com modelos adicionais (em breve)
• Apoie documentos não-PDF (em breve)
• Suporte para documentos de imagem (em breve)
• Apoio à visualização de incorporação (em breve)
• Suporte para a história do bate -papo (em breve)
• Interface de usuário aprimorada (em breve)
• Suporte para documentos multimodais (em breve)
• Exportação e importação de configurações de pano (em breve)
• Expondo uma API REST (em breve)
• Observabilidade (em breve)

Contribuindo

As contribuições são bem -vindas! Por favor, pegue o repositório e envie uma solicitação de tração. Para grandes mudanças, abra um problema primeiro para discutir o que você gostaria de mudar.

Licença

Este projeto está licenciado sob a licença pública geral da GNU v3.0 (GPLV3). Consulte o arquivo de licença para obter detalhes.

Isso significa:

• Você pode usar, modificar e distribuir livremente este software.
• Se você modificar ou estender este software, deverá liberar suas alterações no GPL.
• Você deve incluir o aviso original de direitos autorais e o texto completo da licença GPL.
• Não há garantia para este software livre.

Para mais informações, visite GNU GPL V3.

Agradecimentos

• Graças ao TheBloke e Unsloth por compartilhar os modelos quantizados.
• Este projeto usa várias bibliotecas de código aberto. Consulte requisitos.txt para obter detalhes.