fastRAG

---

Construire et explorer des modèles et applications génératives auprès de la récupération efficaces

? Installation • Composants • Exemples •? Commencer • ? Démos • ✏️ SCRIPTS • Benchmarks

Fast Rag est un cadre de recherche pour des pipelines génératifs augmentés efficaces et optimisés , incorporant des LLM et une récupération de l'information de pointe. Fastrag est conçu pour permettre aux chercheurs et aux développeurs un ensemble complet d'outils pour faire progresser la génération augmentée de récupération.

Les commentaires, les suggestions, les problèmes et les refus de traction sont les bienvenus! ❤️

Important

Maintenant compatible avec Haystack V2 +. Veuillez signaler tout problème possible que vous trouvez.

Mises à jour

• 2024-05 : Fastrag V3 est compatible avec la botte de foin 2.0
• 2023-12 : support d'exécution Gaudi2 et ONNX; Modèles d'intégration optimisés; Multi-modalités et démos de chat; Replug Génération de texte.
• 2023-06 : Modification de l'index Colbert: Ajout / suppression des documents; Voir indexUpDater.
• 2023-05 : Rag avec LLM et exemple de synthèse d'invite dynamique.
• 2023-04 : prise en charge de DocumentStore QDRANT.

Caractéristiques clés

• Rag optimisé : construire des pipelines de chiffon avec des composants efficaces SOTA pour une plus grande efficacité de calcul.
• Optimisé pour le matériel Intel : Tirez parti des extensions Intel pour Pytorch (IPEX) ,? Intel optimal et? Optimum-Habana pour fonctionner aussi optimal que possible sur les processeurs Intel® Xeon® et les accélérateurs Intel® Gaudi® AI.
• Personnalisable : Fastrag est construit à l'aide de la back de foin et de l'étreinte. Tous les composants de Fastrag sont compatibles à 100%.

Composants

Pour un bref aperçu des différents composants uniques de FASTRAG, reportez-vous à la page Présentation des composants.

LLM Backends
Accélérateurs Intel Gaudi	LLMS RUMINE sur Gaudi 2
ONNX Runtime	Exécution des LLM avec Optimized onnx-runtime
Openvino	Exécution des LLM quantifiées à l'aide d'OpenVino
Lama-cpp	Pipelines de chiffon en cours d'exécution avec LLMS sur un backend CPP lama
Composants optimisés
Incorporer	Bi-encodeurs INT8 optimisés
Rangs	Crosscoders optimisés / clairsemés
Composants économes
Colbert	Interaction tardive à base de jetons
Fusion-in-décodeur (FID)	Encodeur à plusieurs documents génératifs
Reprocher	Décodeur multi-documents amélioré
PLAID	Moteur d'indexation incroyablement efficace

? Installation

Exigences préliminaires:

• Python 3,8 ou plus.
• Pytorch 2.0 ou plus.

Pour configurer le logiciel, installez-vous à partir de pip ou clonage le projet pour les mises à jour de saignement. Exécutez ce qui suit, de préférence dans un environnement virtuel nouvellement créé:

pip install fastrag

Packages supplémentaires

Il existe des dépendances supplémentaires que vous pouvez installer en fonction de votre utilisation spécifique de Fastrag:

 # Additional engines/components
pip install fastrag[intel]               # Intel optimized backend [Optimum-intel, IPEX]
pip install fastrag[openvino]            # Intel optimized backend using OpenVINO
pip install fastrag[elastic]             # Support for ElasticSearch store
pip install fastrag[qdrant]              # Support for Qdrant store
pip install fastrag[colbert]             # Support for ColBERT+PLAID; requires FAISS
pip install fastrag[faiss-cpu]           # CPU-based Faiss library
pip install fastrag[faiss-gpu]           # GPU-based Faiss library

Pour travailler avec la dernière version de FASTRAG, vous pouvez l'installer en utilisant la commande suivante:

pip install .

Outils de développement

pip install .[dev]

Licence

Le code est concédé sous licence Apache 2.0.

Clause de non-responsabilité

Ce n'est pas un produit Intel officiel.