local rag qa engine

Motor de QA de documento seguro baseado em trap

Instalação

Clone o repo:

git https://github.com/pratapyash/local-rag-qa-engine
cd local-rag-qa-engine

Instale as dependências (requer poesia):

poetry install

Busque seu LLM (llama3.2: 1b por padrão):

ollama pull llama3.2:1b

Execute o servidor Ollama

ollama serve

Inicie o RAGBASE:

poetry run streamlit run app.py

Ingestora

Extrai o texto de documentos em PDF e cria pedaços (usando splitter semântico e de caracteres) que são armazenados em um banco de dados vetorial

Retriever

Dada uma consulta, pesquisam documentos semelhantes, reerranjam o resultado e aplica filtro de cadeia LLM antes de retornar a resposta.

Cadeia de controle de qualidade

Combina o LLM com o Retriever para responder a uma determinada pergunta do usuário

Pilha de tecnologia

• Ollama - Execute LLM local
• Langchain - Build LLM Apps
• QDRANT - Pesquisa/banco de dados vetorial
• FlashRank - Remorando rápido
• Fastembed - Geração de incorporação leve e rápida
• Streamlit - Construa a interface do usuário para aplicativos de dados
• PDFIUM - Processamento de PDF e extração de texto