Vector Search RaG

？ベクトル検索ラグシステム

ベクター検索とRAG（検索拡張生成）機能を使用した洗練された映画の推奨システム。

？特徴

• セマンティック検索：意味のある映画検索に文の埋め込みを利用する
• ベクトルデータベース：Mongodb Atlasのベクトル検索機能を活用します
• リアルタイム処理：HuggingfaceのAPIを使用して、フライで埋め込みを生成します
• 効率的な検索：プロットの説明に基づく高速かつ正確な映画の推奨事項

プロジェクト構造

 Vector-Search-RaG/
├── apps/
│   └── semantic_search/
│       ├── __init__.py
│       ├── hf_connection.py    # HuggingFace API connection
│       ├── mongo_connection.py # MongoDB connection handler
│       └── movie_recs.py      # Movie recommendation logic
├── ragenv/                    # Virtual environment
├── LICENSE
└── README.md

はじめる

前提条件

• Python 3.8以降
• Mongodb Atlasアカウント
• Huggingface APIトークン
• PIP（Pythonパッケージマネージャー）

環境のセットアップ

1. リポジトリをクローンします：

git clone https://github.com/yourusername/Vector-Search-RaG.git
cd Vector-Search-RaG

2. 仮想環境を作成してアクティブ化します。

python -m venv ragenv
source ragenv/bin/activate  # On Windows: ragenvScriptsactivate

3. 依存関係をインストールします：

pip install pymongo requests python-decouple

4. 資格情報を使用してルートディレクトリに.envファイルを作成します。

 MONGODB_URI = your_mongodb_connection_string
HUGGING_FACE_TOKEN = your_huggingface_token 

構成コンポーネント

Huggingface Connection（ hf_connection.py ）

• HuggingfaceのAPIへの接続を管理します
• 埋め込みを生成するためにsentence-transformers/all-MiniLM-L6-v2モデルを使用します
• API認証とエラー処理を処理します

mongodb接続（ mongo_connection.py ）

• Mongodb Atlasへの安全な接続を確立します
• TLSセキュリティを実装します
• 接続検証とエラー処理が含まれています

映画の推奨事項（ movie_recs.py ）

• ベクター検索機能を実装します
• 映画のクエリを処理し、推奨事項を生成します
• 映画データの取得と更新のためのユーティリティが含まれています

？使用法

基本的な検索例

 from apps . semantic_search . movie_recs import search_movies

# Search for movies with a specific plot description
query = "A group of bandits stage a brazen train hold-up"
search_movies ( query )

映画データを更新します

 from apps . semantic_search . movie_recs import fetch_and_update_movies

# Fetch and update movie information
fetch_and_update_movies ()

ベクトル検索の詳細

このシステムは、セマンティック検索にMongoDBの$vectorSearch集約を使用しています。

• Huggingfaceの文変換器を使用して埋め込みを生成します
• Mongodbに保存された事前に計算されたプロット埋め込みに対する検索
• プロットの説明に基づいて、最も意味的に類似した映画を返します

セキュリティ機能

• MongoDB接続用のTLS暗号化
• 環境変数を介したAPIトークンの取り扱いを安全にします
• 安全な接続の証明書の検証

ショ和重要なメモ

1. Mongodb Atlasクラスターにベクトル検索機能が有効になっていることを確認してください
2. Huggingface APIにはレート制限があります - 生産用のキャッシュの実装を検討してください
3. .envファイルを安全に保ち、バージョン制御にコミットしないでください

？パフォーマンスに関する考慮事項

• システムは、幅広い検索カバレッジにnumCandidates: 100を使用します
• 結果は、最適な応答時間のためにクエリごとに4本の映画に制限されています
• ベクトル検索インデックス「plotsemanticearch」はmongodbで適切に構成する必要があります

？貢献

1. リポジトリをフォークします
2. 機能ブランチを作成します（ git checkout -b feature/AmazingFeature ）
3. あなたの変更をコミットします（ git commit -m 'Add some AmazingFeature' ）
4. ブランチへのプッシュ（ git push origin feature/AmazingFeature ）
5. プルリクエストを開きます

ライセンス

このプロジェクトは、リポジトリに含まれるライセンスファイルの条件に基づいてライセンスされています。