fastRAG
v3.1.2
Erstellen und erkunden Sie effizientes Abruf von Generativmodellen und Anwendungen
? Installation • Komponenten • Beispiele •? Erste Schritte • ? Demos • ✏️ Skripte • Benchmarks
Fast Rag ist ein Forschungsrahmen für effiziente und optimierte Abruf-Augmented Generative Pipelines, das hochmoderne LLMs und das Abrufen von Informationen enthält. Fasstrag soll Forscher und Entwicklern eine umfassende Instrument für die Weiterentwicklung der Augmented-Generation von Abrufen befähigen.
Kommentare, Vorschläge, Probleme und Ziehrequests sind begrüßt! ❤️
Wichtig
Jetzt kompatibel mit Haystack V2+. Bitte melden Sie alle möglichen Probleme, die Sie finden.
DocumentStore . Eine kurze Übersicht über die verschiedenen eindeutigen Komponenten in Fastrag finden Sie auf der Seite der Komponentenübersicht.
| LLM -Backends | |
| Intel Gaudi Acceleratoratoren | Ausführen von LLMs auf Gaudi 2 |
| Onnx -Laufzeit | Ausführen von LLMs mit optimiertem Onnx-Runtime |
| OpenVino | Ausführen quantisierter LLMs mit OpenVino |
| Lama-CPP | Laufen Rag -Pipelines mit LLMs auf einem Lama -CPP -Backend |
| Optimierte Komponenten | |
| Einbettungen | Optimierte INT8-BI-Coder |
| Ranker | Optimierte/spärliche Kreuzer |
| Lumpeneffiziente Komponenten | |
| Colbert | Token-basierte späte Interaktion |
| Fusion-in-Decoder (FID) | Generatives Multi-Dokument-Encoder-Decoder |
| Wiederholung | Verbesserter Multi-Dokument-Decoder |
| PLAID | Unglaublich effiziente Indizierungsmotor |
Voranforderungen:
Um die Software einzurichten, installieren Sie das Projekt aus pip oder klonen Sie das Projekt für die Updates für Blutungen. Führen Sie Folgendes aus, vorzugsweise in einer neu erstellten virtuellen Umgebung:
pip install fastragEs gibt zusätzliche Abhängigkeiten, die Sie basierend auf Ihrer spezifischen Verwendung von Fastrag installieren können:
# Additional engines/components
pip install fastrag[intel] # Intel optimized backend [Optimum-intel, IPEX]
pip install fastrag[openvino] # Intel optimized backend using OpenVINO
pip install fastrag[elastic] # Support for ElasticSearch store
pip install fastrag[qdrant] # Support for Qdrant store
pip install fastrag[colbert] # Support for ColBERT+PLAID; requires FAISS
pip install fastrag[faiss-cpu] # CPU-based Faiss library
pip install fastrag[faiss-gpu] # GPU-based Faiss libraryUm mit der neuesten Version von Fastrag zu arbeiten, können Sie es mit dem folgenden Befehl installieren:
pip install .pip install .[dev]Der Code ist unter der Apache 2.0 -Lizenz lizenziert.
Dies ist kein offizielles Intel -Produkt.
