fastRAG

---

Membangun dan mengeksplorasi model dan aplikasi generatif pengambilan yang efisien

? Instalasi • Komponen • Contoh •? Memulai •? Demo • ✏️ Scripts • Benchmarks

Fast Rag adalah kerangka kerja penelitian untuk pipa generatif augmented augmented yang efisien dan dioptimalkan , menggabungkan LLMS dan pengambilan informasi yang canggih. FASTRAG dirancang untuk memberdayakan para peneliti dan pengembang dengan set alat yang komprehensif untuk memajukan generasi augmented pengambilan.

Komentar, saran, masalah, dan permintaan tarik disambut! ❤️

Penting

Sekarang kompatibel dengan Haystack V2+. Harap laporkan masalah yang mungkin Anda temukan.

Pembaruan

• 2024-05 : FASTRAG V3 adalah Haystack 2.0 yang kompatibel
• 2023-12 : Dukungan Runtime Gaudi2 dan ONNX; Model embedding yang dioptimalkan; Demo multi-modalitas dan obrolan; REPLUG generasi teks.
• 2023-06 : Modifikasi Indeks Colbert: Menambahkan/Menghapus Dokumen; Lihat IndexUpdater.
• 2023-05 : Rag dengan LLM dan contoh sintesis prompt dinamis.
• 2023-04 : Dukungan DocumentStore Qdrant.

Fitur utama

• Rag yang dioptimalkan : Bangun pipa kain dengan komponen efisien SOTA untuk efisiensi komputasi yang lebih besar.
• Dioptimalkan untuk Intel Hardware : Leverage Ekstensi Intel untuk Pytorch (IPEX) ,? Intel optimal dan? Habana optimal untuk berjalan seoptimal mungkin pada prosesor Intel® Xeon® dan akselerator AI Intel® Gaudi®.
• Customizable : Fastrag dibangun menggunakan Haystack dan Huggingface. Semua komponen Fastrag kompatibel dengan jerami 100%.

Komponen

Untuk ikhtisar singkat dari berbagai komponen unik di Fastrag, lihat halaman Ikhtisar Komponen.

LLM mendukung
Akselerator Intel Gaudi	Menjalankan LLMS di Gaudi 2
Onnx Runtime	Menjalankan LLMS dengan OnNX-Runtime yang dioptimalkan
Openvino	Menjalankan LLM Terkuantisasi Menggunakan OpenVino
Llama-cpp	Menjalankan pipa kain dengan LLMS di backend CPP llama
Komponen yang dioptimalkan
Embedders	BI-encoders yang dioptimalkan
RANKERS	Cross-encoder yang dioptimalkan/jarang
Komponen rag-efisien
Colbert	Interaksi Akhir Berbasis Token
Fusion-in-Decoder (FID)	Encoder-Decoder Multi-Dokumen Generatif
REPLUG	Decoder multi-dokumen yang ditingkatkan
Kotak -kotak	Mesin pengindeksan yang sangat efisien

? Instalasi

Persyaratan Pendahuluan:

• Python 3.8 atau lebih tinggi.
• Pytorch 2.0 atau lebih tinggi.

Untuk mengatur perangkat lunak, instal dari pip atau klon proyek untuk pembaruan tepi perdarahan. Jalankan yang berikut, lebih disukai di lingkungan virtual yang baru dibuat:

pip install fastrag

Paket tambahan

Ada dependensi tambahan yang dapat Anda instal berdasarkan penggunaan fastrag spesifik Anda:

 # Additional engines/components
pip install fastrag[intel]               # Intel optimized backend [Optimum-intel, IPEX]
pip install fastrag[openvino]            # Intel optimized backend using OpenVINO
pip install fastrag[elastic]             # Support for ElasticSearch store
pip install fastrag[qdrant]              # Support for Qdrant store
pip install fastrag[colbert]             # Support for ColBERT+PLAID; requires FAISS
pip install fastrag[faiss-cpu]           # CPU-based Faiss library
pip install fastrag[faiss-gpu]           # GPU-based Faiss library

Untuk bekerja dengan versi terbaru dari FASTRAG, Anda dapat menginstalnya menggunakan perintah berikut:

pip install .

Alat pengembangan

pip install .[dev]

Lisensi

Kode ini dilisensikan di bawah lisensi Apache 2.0.

Penafian

Ini bukan produk Intel resmi.