local rag qa engine

Document sécurisé basé sur le chiffon local moteur QA

Installation

Cloner le repo:

git https://github.com/pratapyash/local-rag-qa-engine
cd local-rag-qa-engine

Installez les dépendances (nécessite de la poésie):

poetry install

Répondez votre LLM (LLAMA3.2: 1B par défaut):

ollama pull llama3.2:1b

Exécutez le serveur Olllama

ollama serve

Démarrer Ragbase:

poetry run streamlit run app.py

Ingérateur

Extrait le texte des documents PDF et crée des morceaux (en utilisant un séparateur sémantique et de caractère) qui sont stockés dans une données vectorielle

Retriever

Compte tenu d'une requête, recherche de documents similaires, relance le résultat et applique le filtre de chaîne LLM avant de renvoyer la réponse.

Chaîne d'AQ

Combine le LLM avec le retriever pour répondre à une question utilisateur donnée

Pile technologique

• Olllama - Run Local LLM
• Langchain - Build applications alimentées par LLM
• QDRANT - Recherche de vecteur / base de données
• FlashRank - Rerranage rapide
• FastMed - Génération d'intégration légère et rapide
• STAILLIT - CONSTRUIRE UI pour les applications de données
• PDFIUM - Traitement PDF et extraction de texte