RAG Pipeline

抹布（检索增强发电）管道

• 我已经建立了一条破布管道，以展示如何使用其他数据增强知识。

抹布管道的视觉描述

描述

• RAG是一种使用其他数据来增强LLM知识的技术。
• LLM可以推论广泛的主题，但是他们的知识仅限于公共数据，直到他们接受过培训的特定时间点。
• 如果您想构建可以推荐模型截止日期后引入的私人数据或数据的AI应用程序，则需要使用所需的特定信息来增强模型的知识。
• 将适当信息和将其插入模型提示的过程称为检索增强发电（RAG）。

使用的库

• Langchain == 0.1.20
• Langchain-Community == 0.0.38
• BS4 == 0.0.2
• pypdf == 4.2.0
• chromadb == 0.5.0

安装

1. 先决条件
   • git
   • 命令行熟悉
2. 克隆存储库： git clone https://github.com/NebeyouMusie/RAG-Pipeline.git
3. 创建和激活虚拟环境（建议）
   • python -m venv venv
   • source venv/bin/activate
4. 使用您的终端导航到项目目录cd ./RAG-Pipeline
5. 安装库： pip install -r requirements.txt
6. 打开并运行rag_pipeline.ipynb笔记本中的所有单元格
7. 或者，您可以在files目录和rag_pipeline.ipynb笔记本中下载文档，从存储库中的notebook目录中下载，将这些文件和笔记本上传到Google Collapor，然后在rag_pipeline.ipynb Notebook中运行所有单元格。

合作

• 欢迎合作❤️

致谢

• 我要感谢克里希·奈克（Krish Naik）

接触

• LinkedIn：Nebeyou Musie
• gmail：[email protected]
• 电报：Nebeyou Musie