RAG Framework

Rag-framework

Un framework Python pour implémenter la génération (RAG) de la récupération (RAG) à l'aide d'une base de données de magasin vectoriel. Ce cadre utilise le référentiel de magasins vectoriels pour stocker et récupérer des intégres pour une implémentation de chiffon efficace.

Structure

• Main.py - Le cadre du pipeline de chiffon principal, traitement des entrées et orchestrer le flux de chiffon.
• LLM.PY - Un module qui interface avec l'API Google Gemini, simulant un modèle grand langage (LLM) pour générer des réponses.
• get_embedding.py - Un script pour générer des intégres à partir de fichiers .txt à l'aide du modèle SentenTransformrer.
• Comm-VectorStore.py - Un module de communication qui télécharge des incorporations dans le magasin vectoriel pour le stockage et la récupération.

Usage

1. Clone le référentiel du magasin vectoriel et configurez-le en fonction des instructions.
2. Configurez la main.py et get_embedding.py pour utiliser votre base de données de magasin vectoriel.
3. Exécutez main.py pour exécuter le pipeline de chiffon avec n'importe quel texte d'entrée.

Exigences

• Python 3.x
• Transformateurs de phrases - pour générer des intérêts de texte
• NLTK - Pour la tokenisation de la phrase
• Google Gemini API Informations d'identification pour llm.py (ou toute API LLM compatible pour l'inférence)

Installation

pip install -r requirements.txt