fastRAG

---

構建和探索有效檢索的生成模型和應用

？安裝•組件•示例•？入門 • ？演示•✏️腳本•基準測試

Fast RAG是一種研究框架，用於有效，優化的檢索增強生成管道，並結合最先進的LLM和信息檢索。 Fastrag旨在為研究人員和開發人員提供全面的工具集，以促進檢索增強發電。

歡迎評論，建議，問題和抽拉賽！ ❤️

重要的

現在與Haystack V2+兼容。請報告您發現的任何可能的問題。

更新

• 2024-05 ：Fastrag V3是Haystack 2.0兼容
• 2023-12 ：Gaudi2和ONNX運行時支持；優化的嵌入模型；多模式和聊天演示；重複文本生成。
• 2023-06 ：Colbert指數修改：添加/刪除文件；請參閱IndexupDater。
• 2023-05 ：帶有LLM的抹布和動態提示合成示例。
• 2023-04 ：QDrant DocumentStore支持。

關鍵功能

• 優化的抹布：用SOTA有效組件構建抹布管道，以提高計算效率。
• 針對英特爾硬件進行了優化：利用Pytorch（IPEX）的Intel擴展名？最佳英特爾和？在Intel®Xeon®處理器和Intel®Gaudi®AI加速器上，最佳運行的最佳Habana。
• 可自定義：Fastrag是使用Haystack和Huggingface構建的。 Fastrag的所有組件均為100％的Haystack兼容。

成分

有關Fastrag中各種唯一組件的簡要概述，請參閱“組件概述”頁面。

LLM後端
英特爾高迪加速器	在Gaudi 2上運行LLM
ONNX運行時	運行使用優化的llms運行LLM
Openvino	使用OpenVino運行量化LLMS
Llama-CPP	使用LLMS在Llama CPP後端運行RAG管道
優化的組件
嵌入式	優化的INT8雙重編碼器
排名	優化/稀疏的跨編碼器
破布效率的成分
科爾伯特	基於令牌的晚互動
fifus-In-decoder（FID）	生成多檔案編碼器
重新補充	改進的多文件解碼器
格子	令人難以置信的索引引擎

？安裝

初步要求：

• Python 3.8或更高。
• Pytorch 2.0或更高。

要設置軟件，請從pip安裝或克隆項目以進行出血邊緣更新。運行以下內容，最好是在新創建的虛擬環境中運行：

pip install fastrag

額外的包裝

您可以根據Fastrag的特定使用來安裝其他依賴項：

 # Additional engines/components
pip install fastrag[intel]               # Intel optimized backend [Optimum-intel, IPEX]
pip install fastrag[openvino]            # Intel optimized backend using OpenVINO
pip install fastrag[elastic]             # Support for ElasticSearch store
pip install fastrag[qdrant]              # Support for Qdrant store
pip install fastrag[colbert]             # Support for ColBERT+PLAID; requires FAISS
pip install fastrag[faiss-cpu]           # CPU-based Faiss library
pip install fastrag[faiss-gpu]           # GPU-based Faiss library

要使用最新版本的Fastrag，您可以使用以下命令安裝它：

pip install .

開發工具

pip install .[dev]

執照

該代碼是根據Apache 2.0許可證獲得許可的。

免責聲明

這不是英特爾官方產品。