RAG Framework

Trabajo de trapo

Un marco de Python para implementar la generación de recuperación (RAG) utilizando una base de datos de vectores. Este marco utiliza el repositorio de tiendas vectoriales para almacenar y recuperar incrustaciones para una implementación efectiva de RAG.

Estructura

• Main.py : el principal marco de la tubería de RAG, procesamiento de la entrada y orquesta el flujo de trapo.
• LLM.py : un módulo que interactúa con la API de Google Gemini, simulando un modelo de lenguaje grande (LLM) para generar respuestas.
• get_embedding.py : un script para generar embedidas a partir de archivos .txt utilizando el modelo SentencErformer.
• Comm -vectorStore.py : un módulo de comunicación que carga integración en la tienda vectorial para el almacenamiento y la recuperación.

Uso

1. Clonar el repositorio de vectores y configurarlo de acuerdo con las instrucciones.
2. Configure main.py y get_embedding.py para usar su base de datos Vector-Store.
3. Ejecute main.py para ejecutar la tubería RAG con cualquier texto de entrada.

Requisitos

• Python 3.x
• Transformadores de oraciones: para generar integridades de texto
• NLTK - Para la tokenización de oraciones
• Credenciales de la API de Google Gemini para llm.py (o cualquier API LLM compatible para inferencia)

Instalación

pip install -r requirements.txt