fastRAG

---

构建和探索有效检索的生成模型和应用

？安装•组件•示例•？入门 • ？演示•✏️脚本•基准测试

Fast RAG是一种研究框架，用于有效，优化的检索增强生成管道，并结合最先进的LLM和信息检索。 Fastrag旨在为研究人员和开发人员提供全面的工具集，以促进检索增强发电。

欢迎评论，建议，问题和抽拉赛！ ❤️

重要的

现在与Haystack V2+兼容。请报告您发现的任何可能的问题。

更新

• 2024-05 ：Fastrag V3是Haystack 2.0兼容
• 2023-12 ：Gaudi2和ONNX运行时支持；优化的嵌入模型；多模式和聊天演示；重复文本生成。
• 2023-06 ：Colbert指数修改：添加/删除文件；请参阅IndexupDater。
• 2023-05 ：带有LLM的抹布和动态提示合成示例。
• 2023-04 ：QDrant DocumentStore支持。

关键功能

• 优化的抹布：用SOTA有效组件构建抹布管道，以提高计算效率。
• 针对英特尔硬件进行了优化：利用Pytorch（IPEX）的Intel扩展名，？最佳英特尔和？在Intel®Xeon®处理器和Intel®Gaudi®AI加速器上，最佳运行的最佳Habana。
• 可自定义：Fastrag是使用Haystack和Huggingface构建的。 Fastrag的所有组件均为100％的Haystack兼容。

成分

有关Fastrag中各种唯一组件的简要概述，请参阅“组件概述”页面。

LLM后端
英特尔高迪加速器	在Gaudi 2上运行LLM
ONNX运行时	运行使用优化的llms运行LLM
Openvino	使用OpenVino运行量化LLMS
Llama-CPP	使用LLMS在Llama CPP后端运行RAG管道
优化的组件
嵌入式	优化的INT8双重编码器
排名	优化/稀疏的跨编码器
破布效率的成分
科尔伯特	基于令牌的晚互动
fifus-In-decoder（FID）	生成多档案编码器
重新补充	改进的多文件解码器
格子	令人难以置信的索引引擎

？安装

初步要求：

• Python 3.8或更高。
• Pytorch 2.0或更高。

要设置软件，请从pip安装或克隆项目以进行出血边缘更新。运行以下内容，最好是在新创建的虚拟环境中运行：

pip install fastrag

额外的包装

您可以根据Fastrag的特定使用来安装其他依赖项：

 # Additional engines/components
pip install fastrag[intel]               # Intel optimized backend [Optimum-intel, IPEX]
pip install fastrag[openvino]            # Intel optimized backend using OpenVINO
pip install fastrag[elastic]             # Support for ElasticSearch store
pip install fastrag[qdrant]              # Support for Qdrant store
pip install fastrag[colbert]             # Support for ColBERT+PLAID; requires FAISS
pip install fastrag[faiss-cpu]           # CPU-based Faiss library
pip install fastrag[faiss-gpu]           # GPU-based Faiss library

要使用最新版本的Fastrag，您可以使用以下命令安装它：

pip install .

开发工具

pip install .[dev]

执照

该代码是根据Apache 2.0许可证获得许可的。

免责声明

这不是英特尔官方产品。