RAG Pipeline

RAG（検索拡張生成）パイプライン

• 追加データで知識をどのように拡張できるかを紹介するために、RAGパイプラインを構築しました。

RAGパイプラインの視覚的説明

説明

• RAGは、追加データを使用してLLM知識を強化するための手法です。
• LLMは、幅広いトピックについて推論することができますが、彼らの知識は、訓練された特定の時点までの公開データに限定されています。
• モデルのカットオフ日以降に導入されたプライベートデータまたはデータについて推論できるAIアプリケーションを構築する場合は、モデルの知識を必要とする特定の情報を強化する必要があります。
• 適切な情報をもたらし、それをモデルプロンプトに挿入するプロセスは、検索拡張生成（RAG）として知られています。

使用されるライブラリ

• langchain == 0.1.20
• langchain-community == 0.0.38
• BS4 == 0.0.2
• pypdf == 4.2.0
• Chromadb == 0.5.0

インストール

1. 前提条件
   • git
   • コマンドラインの親しみやすさ
2. リポジトリのクローン： git clone https://github.com/NebeyouMusie/RAG-Pipeline.git
3. 仮想環境を作成およびアクティブ化する（推奨）
   • python -m venv venv
   • source venv/bin/activate
4. 端末を使用してプロジェクトディレクトリcd ./RAG-Pipelineに移動する
5. ライブラリのインストール： pip install -r requirements.txt
6. rag_pipeline.ipynbノートブックですべてのセルを開いて実行します
7. または、リポジトリのnotebookディレクトリからfilesディレクトリとrag_pipeline.ipynbノートブックにドキュメントをダウンロードして、それらのファイルとノートブックをGoogleコラボにアップロードし、 rag_pipeline.ipynbノートブックですべてのセルを実行することができます。

コラボレーション

• コラボレーションは歓迎されています

謝辞

• クリッシュ・ナイクに感謝したいと思います

接触

• LinkedIn：Nebeyou Musie
• Gmail：[email protected]
• テレグラム：ネベヨームジー