RAG Architecture

？多模式文档处理抹布与Langchain？

该项目是一个简化的应用程序，用于处理多模式文档并查询MILVUS数据库。它利用诸如Langchain ， Transformers ， EasyORCOR和其他其他工具来处理，存储和查询从各种文件类型中提取的文本进行处理。

---

特征

上传文件处理：

• 支持多种文件类型： audio ， video ， image ， text ， csv ， yaml ， json ， docx和pdf 。
• 提取文本内容使用以下方式：
  • ？音频： speech_recognition and pydub 。
  • ？视频：自定义提取逻辑。
  • ？×图像： EasyOCR 。
  • ？文本/日志/文档：Langchain加载器。

米尔维斯整合：

• ？存储经过处理的文档嵌入，用于基于相似性的查询。
• ？利用HuggingFaceEmbeddings生成向量表示。

？查询接口：

• 自然语言查询接口。
• 实现AI驱动响应的检索型发电（RAG）管道。

---

安装

？先决条件

• Python 3.8+
• pip或conda软件包经理
• 与CUDA兼容的GPU（可选，用于更快的处理）

？叉子和克隆存储库

1. 叉子存储库：导航到rag architecture github存储库，然后单击叉子。

2. 克隆分叉的存储库：

   git clone https://github.com/ < your-username > /RAG-Architecture.git
   cd RAG-Architecture
   

？安装依赖项

pip install -r requirements.txt

用法

启动应用程序

运行简化应用程序：

streamlit run app.py

应用模式

？上传文件：

• 上传文件以处理并将其内容存储在Milvus中。
• 在数据库中显示提取的内容，并将嵌入。

❓查询：

• 输入一个问题以搜索和检索MILVUS数据库的相关信息。
• 使用Langchain的RAG管道返回AI生成的响应。

？文件结构

 # # ? **File Structure**

` ` ` bash
project/
│
├── app.py                      #  Main Streamlit application
├── requirements.txt            # ? Python dependencies
├── utils/                      #  Utility modules
│   ├── audio_utils.py          # ? Audio file processing
│   ├── video_utils.py          # ? Video file processing
│   ├── image_utils.py          # ?️ Image file processing
│   ├── document_loaders.py     #  Document processing loaders
│   ├── milvus_client.py        # ?️ Initializes Milvus database
│
├── milvus_database.db          # ?️ Milvus database file (auto-created)
├── Dataset                     #  Folder to store datasets
├── Images                      # ? Folder for storing images

？关键模块

app.py

？主要应用程序逻辑

• 处理文件上传，文档处理和查询。

utils/

• ？音频：将音频分成块并转录文本。
• ？视频：处理视频文件以提取和分析内容。
• ？图像：使用EasyORF来提取文本。
• 日志/文档：流程CSV，YAML，JSON和PDF文件中的结构化Langchain文档。

---

示例工作流程

？上传文件

1. 选择“上传文件”模式。
2. 上传文件（例如， example.pdf ）。
3. 处理并将文件存储在数据库中。

❓查询数据库

1. 选择“查询”模式。
2. 输入自然语言问题。
3. 收到简洁，基于事实的回应。

---

？未来的改进

• ？添加更高级的查询功能。
• 增强对其他文件类型和嵌入的支持。
• ⚡提高较大数据集的可伸缩性。

---

许可该项目已根据MIT许可获得许可。

---

？致谢

• 简化交互式UI。
• Langchain和Milvus用于文档处理，检索和矢量数据库。
• ？用于嵌入生成的变压器。
• ？ easyocr用于图像文本提取。
• ？用于视频处理的电影。