Retrieval Augmented Generation RAG Using Hugging Face Embeddings

ハグする顔の埋め込みを使用して、検索された生成（RAG）

このプロジェクトは、効率的なセマンティック検索のためにハグする顔の埋め込みとChromaDBを使用して、検索された生成（RAG）パイプラインを実装する方法を示しています。ソリューションはテキストデータを読み取り、処理、埋め込み、ユーザーがデータで正確で高速なクエリを実行できるようにします。

特徴

• データセットの統合：顔の抱きしめからデータセットをロードして処理します。
• テキストチャンキング：大きなテキストを埋め込むための管理可能なチャンクに分割します。
• 埋め込み生成：抱きしめる顔の埋め込み（ BAAI/bge-base-en-v1.5 ）を利用して、テキストチャンクをベクトル表現に変換します。
• ChromaDBストレージ：簡単に取得できるように、ChromAdbに埋め込みを保存します。
• セマンティック検索：セマンティックの類似性を使用して提供されたプロンプトに基づいて、関連するテキストの保存データをクエリします。

インストール

ノートブックを実行する前に、必要なライブラリがインストールされていることを確認してください。

pip install chromadb
pip install llama-index

また、あなたがそれをチェックして、動作をテストしたい場合は、顔を抱きしめることから必要なデータセットをクローンする必要があります:)：

git clone https://huggingface.co/datasets/NahedAbdelgaber/evaluating-student-writing
git clone https://huggingface.co/datasets/transformersbook/emotion-train-split

それがどのように機能するか

1. データセットのロード：

   • ノートブックは「学生の執筆」データセットを「評価する」データセットをロードし、テキストを埋め込みのためにチャンクに分割します。

2. 作成の埋め込み：

   • BAAI/bge-base-en-v1.5モデルを使用して、テキストチャンクはベクター埋め込みに変換されます。好みのモデルは任意のモデルです。

3. ChromaDB統合：

   • 生成された埋め込みは、それに対応するテキストチャンクとともに、永続性とその後のクエリのためにChromaDBに保存されます。

4. セマンティック検索：

   • 特定の入力クエリを使用してベクトルデータベースを検索するためにクエリ関数が提供されます。関連するチャンクは、クエリとの類似性に基づいて返されます。

使用法

コードを使用するには、依存関係をインストールし、必要なデータセットをクローニングした後にノートブックを実行するだけです。次のコマンドを使用して、保存された埋め込みを照会できます。

 query_collection ( "Your search query here" , n_results = 1 )

これにより、提供されたクエリに基づいて、最も関連性の高いテキストチャンクが返されます。

例

 query_collection (
  "Even though the planet is very similar to Earth, there are challenges to get accurate data because of the harsh conditions on the planet." , 
  n_results = 1
)

ファイル

ここには2つのファイルがあります。単純なものは、単一のファイルのベクトルデータベースを作成するだけで、Advanceは異なる拡張機能を備えた複数のファイルで動作し、それらのベクトルデータベースを作成できます。また、テキストGenモデルでテストすることもできます。

依存関係

• Chromadb
• 顔の埋め込みを抱き締める
• llama-index

将来の強化

• 重複する文のより柔軟な取り扱いのために、チャンキングメカニズムを改善します。
• より具体的なドメインアプリケーションについては、埋め込みモデルを微調整します。
• 複数のデータセットのサポートを追加します。

ライセンス

このリポジトリは、MITライセンスの下でライセンスされています。

チェックしてくれてありがとう:)