fastRAG

---

Construir y explorar modelos generativos y aplicaciones de recuperación eficiente

? Instalación • Componentes • Ejemplos •? Empezando • ? Demostraciones • ✏️ scripts • puntos de referencia

Fast RAG es un marco de investigación para tuberías generativas aumentadas de recuperación eficientes y optimizadas , que incorpora LLM y recuperación de información de última generación. Fastrag está diseñado para capacitar a los investigadores y desarrolladores con un conjunto de herramientas integral para avanzar en la generación de recuperación de recuperación.

¡Los comentarios, sugerencias, problemas y solicitudes de extracción son bienvenidos! ❤️

Importante

Ahora compatible con Haystack V2+. Informe los posibles problemas que encuentre.

Actualizaciones

• 2024-05 : Fastrag V3 es compatible con Haystack 2.0
• 2023-12 : soporte de tiempo de ejecución Gaudi2 y Onnx; Modelos de incrustación optimizados; Demostraciones multimodalidad y chat; Repostar la generación de texto.
• 2023-06 : Modificación del índice de Colbert: agregar/eliminar documentos; Ver indexupdater.
• 2023-05 : RAG con LLM y ejemplo de síntesis de inmediato dinámico.
• 2023-04 : Soporte Qdrant DocumentStore .

Características clave

• Rag optimizado : construya tuberías de trapo con componentes eficientes SOTA para una mayor eficiencia de cálculo.
• Optimizado para Hardware Intel : Aproveche las extensiones de Intel para Pytorch (IPEX),? Intel óptimo y? Habana óptima para ejecutar lo más óptimo posible en los procesadores Intel® Xeon® y los aceleradores de IA Intel® Gaudi®.
• Personalizable : Fastrag está construido con Haystack y Huggingface. Todos los componentes de Fastrag son 100% compatibles con el heno.

Componentes

Para obtener una breve descripción general de los diversos componentes únicos en Fastrag, consulte la página Descripción general de los componentes.

LLM Backends
Aceleradores Intel Gaudi	Ejecutando LLMS en Gaudi 2
Tiempo de ejecución de ONNX	Ejecución de LLMS con Onnx-Runtime optimizado
Abierto	Ejecutando LLM cuantizados usando OpenVino
Llama-CPP	Ejecutando tuberías de RAG con LLMS en un backend de Llama CPP
Componentes optimizados
Arraigadores	Bi-enhuders de INT8 optimizados
Rango	Codificadores optimizados/escasos
Componentes de rag-eficientes
Colbert	Interacción tardía basada en el token
Fusion-in-Decoder (FID)	Codificador de codificador multi-documento generativo
Reemplazar	Decodificador multidocumento mejorado
TARTÁN	Motor de indexación increíblemente eficiente

? Instalación

Requisitos preliminares:

• Python 3.8 o superior.
• Pytorch 2.0 o superior.

Para configurar el software, instale desde pip o clone el proyecto para las actualizaciones de borde de sangrado. Ejecute lo siguiente, preferiblemente en un entorno virtual recién creado:

pip install fastrag

Paquetes adicionales

Hay dependencias adicionales que puede instalar en función de su uso específico de Fastrag:

 # Additional engines/components
pip install fastrag[intel]               # Intel optimized backend [Optimum-intel, IPEX]
pip install fastrag[openvino]            # Intel optimized backend using OpenVINO
pip install fastrag[elastic]             # Support for ElasticSearch store
pip install fastrag[qdrant]              # Support for Qdrant store
pip install fastrag[colbert]             # Support for ColBERT+PLAID; requires FAISS
pip install fastrag[faiss-cpu]           # CPU-based Faiss library
pip install fastrag[faiss-gpu]           # GPU-based Faiss library

Para trabajar con la última versión de Fastrag, puede instalarla utilizando el siguiente comando:

pip install .

Herramientas de desarrollo

pip install .[dev]

Licencia

El código tiene licencia bajo la licencia Apache 2.0.

Descargo de responsabilidad

Este no es un producto Intel oficial.