RAG Architecture

？ langchainを使用したマルチモーダルドキュメント処理ラグ？

このプロジェクトは、マルチモーダルドキュメントを処理し、 Milvusデータベースを照会するための流線照明アプリケーションです。さまざまなファイルタイプから抽出されたテキストの処理、保存、クエリのために、 Langchain 、 Transformers 、 Easyocrなどの最先端のツールを活用します。

---

特徴

ファイル処理のアップロード：

• audio 、 video 、 image 、 text 、 csv 、 yaml 、 json 、 docx 、およびpdf複数のファイルタイプをサポートしています。
• 使用してテキストコンテンツを抽出します。
  • ？オーディオ： speech_recognitionおよびpydub 。
  • ？ビデオ：カスタム抽出ロジック。
  • ？§画像： EasyOCR 。
  • ？テキスト/ログ/ドキュメント：Langchain Loaders。

Milvus統合：

• ？ショ者は、類似性ベースのクエリのためのドキュメント埋め込みを処理します。
• ？ベクトル表現を生成するために、 HuggingFaceEmbeddingsを利用します。

？クエリインターフェイス：

• 自然言語クエリインターフェイス。
• AI駆動型応答のために検索された生成（RAG）パイプラインを実装します。

---

インストール

？前提条件

• Python 3.8+
• pipまたはcondaパッケージマネージャー
• CUDA互換GPU（オプション、より速い処理用）

？リポジトリをフォークしてクローンします

1. リポジトリのフォーク：rag-architecture githubリポジトリに移動し、 [フォーク]をクリックします。

2. フォークされたリポジトリをクローンします：

   git clone https://github.com/ < your-username > /RAG-Architecture.git
   cd RAG-Architecture
   

？依存関係をインストールします

pip install -r requirements.txt

使用法

アプリケーションを開始します

retrylitアプリを実行します：

streamlit run app.py

アプリケーションモード

？ファイルのアップロード：

• ファイルをアップロードして、そのコンテンツをMilvusに保存します。
• 抽出されたコンテンツを表示し、データベースに埋め込みを保存します。

❓クエリ：

• Milvusデータベースから関連情報を検索および取得するには、質問を入力してください。
• LangchainのRagパイプラインを使用して、AIに生成された応答を返します。

？ファイル構造

 # # ? **File Structure**

` ` ` bash
project/
│
├── app.py                      #  Main Streamlit application
├── requirements.txt            # ? Python dependencies
├── utils/                      #  Utility modules
│   ├── audio_utils.py          # ? Audio file processing
│   ├── video_utils.py          # ? Video file processing
│   ├── image_utils.py          # ?️ Image file processing
│   ├── document_loaders.py     #  Document processing loaders
│   ├── milvus_client.py        # ?️ Initializes Milvus database
│
├── milvus_database.db          # ?️ Milvus database file (auto-created)
├── Dataset                     #  Folder to store datasets
├── Images                      # ? Folder for storing images

？キーモジュール

app.py

？主なアプリケーションロジック

• ファイルのアップロード、ドキュメント処理、クエリを処理します。

utils/

• ？オーディオ：オーディオをチャンクに分割し、テキストを転写します。
• ？ビデオ：ビデオファイルを処理して、コンテンツを抽出および分析します。
• ？§画像：テキストを抽出するためにEasyocrを使用します。
• ログ/ドキュメント：CSV、YAML、JSON、およびPDFファイルを構造化されたLangchainドキュメントにプロセスします。

---

ワークフローの例

？ファイルのアップロード

1. [ファイルのアップロード]モードを選択します。
2. ファイルをアップロードします（例： example.pdf ）。
3. ファイルを処理してデータベースに保存します。

databaseデータベースのクエリ

1. 「クエリ」モードを選択します。
2. 自然言語の質問を入力してください。
3. 簡潔な事実ベースの応答を受け取ります。

---

？将来の改善

• ？より高度なクエリ機能を追加します。
• 追加ファイルの種類と埋め込みのサポートを強化します。
• war大きくのデータセットのスケーラビリティを向上させます。

---

ライセンスこのプロジェクトは、 MITライセンスに基づいてライセンスされています。

---

？謝辞

• インタラクティブUI用の流線。
• ドキュメント処理、検索、ベクターDBのLangchainとMilvus 。
• ？埋め込み生成のための変圧器。
• ？§イメージテキスト抽出用のEasyCORCOR 。
• ？ビデオ処理用のムービー。