local rag qa engine

Motor de control de calidad de documento seguro a base de trapo local

Instalación

Clon el repositorio:

git https://github.com/pratapyash/local-rag-qa-engine
cd local-rag-qa-engine

Instale las dependencias (requiere poesía):

poetry install

Obtenga su LLM (Llama3.2: 1b por defecto):

ollama pull llama3.2:1b

Ejecute el servidor Ollama

ollama serve

Comienza Ragbase:

poetry run streamlit run app.py

Ingestor

Extrae texto de documentos PDF y crea fragmentos (utilizando un divisor semántico y de personajes) que se almacenan en un vector de datos

Perdiguero

Dada una consulta, busca documentos similares, vuelva a ascender el resultado y aplica el filtro de cadena LLM antes de devolver la respuesta.

Cadena de control de calidad

Combina el LLM con el Retriever para responder a una pregunta de usuario determinada

Pila de tecnología

• Ollama - Run Local LLM
• Langchain - Aplicaciones de construcción de LLM
• QDRANT - BASE DE BÚSQUEDA VOCTIVA/Base de datos
• FlashRank - Fast Reranking
• Fastembed: generación liviana e incrustada rápida
• Streamlit - Cree UI para aplicaciones de datos
• PDFIUM - Procesamiento PDF y extracción de texto