Retrieval Augmented Generation RAG Using Hugging Face Embeddings

使用拥抱的脸部嵌入检索授权一代（抹布）

该项目演示了如何使用拥抱的面部嵌入和Chromadb实施检索型发电机（RAG）管道，以进行有效的语义搜索。解决方案读取，处理和嵌入文本数据，使用户能够对数据进行准确而快速的查询。

特征

• 数据集集成：拥抱面的负载和过程数据集。
• 文本块：将大文本分成可管理的块以嵌入。
• 嵌入式生成：利用拥抱的面部嵌入（ BAAI/bge-base-en-v1.5 ）将文本块转换为矢量表示。
• Chromadb存储：在Chromadb中存放嵌入，以便于检索。
• 语义搜索：根据提供的语义相似性，根据提供的提示符查询存储的数据以获取相关文本。

安装

在运行笔记本之前，请确保安装必要的库：

pip install chromadb
pip install llama-index

您还需要克隆所需的数据集，如果您只想检查一下并测试工作:)：

git clone https://huggingface.co/datasets/NahedAbdelgaber/evaluating-student-writing
git clone https://huggingface.co/datasets/transformersbook/emotion-train-split

它如何工作

1. 加载数据集：

   • 笔记本将“评估学生写作”数据集加载，并将文本分成块以嵌入。

2. 嵌入创建：

   • 使用BAAI/bge-base-en-v1.5模型，将文本块转换为向量嵌入。您可以任何喜欢的型号。

3. Chromadb整合：

   • 生成的嵌入以及它们相应的文本块，存储在Chromadb中，以进行持久和以后的查询。

4. 语义搜索：

   • 提供了查询功能，用于使用给定的输入查询搜索矢量数据库。根据与查询的相似性返回相关块。

用法

要使用代码，请在安装依赖项并克隆所需的数据集后运行笔记本。以下命令可用于查询存储的嵌入：

 query_collection ( "Your search query here" , n_results = 1 )

这将根据提供的查询返回最相关的文本块。

例子

 query_collection (
  "Even though the planet is very similar to Earth, there are challenges to get accurate data because of the harsh conditions on the planet." , 
  n_results = 1
)

文件

这里有2个文件。简单的一个只需创建一个单个文件的矢量数据库，并且一个可以在具有不同扩展的多个文件上使用的，并创建它们的矢量数据库，您也可以在文本模型上对其进行测试。

依赖性

• Chromadb
• 拥抱的脸部嵌入
• 骆驼指数

未来的增强

• 改善分解机制，以更灵活地处理重叠句子。
• 微调更特定域应用的嵌入模型。
• 添加对多个数据集的支持。

执照

该存储库是根据MIT许可证获得许可的。

感谢您检查一下:)