playlist2vec

について

このリポジトリには、Playlist2vec.comのコードが含まれています。これは、「プレイリストの表現、探索、推奨」で説明されているベクトル検索モデルをデモするために構築されたWebサイトです。

特徴

• 直感的な検索インターフェイスとSpotify統合
• シームレスなスケーラビリティのためのマイクロサービスアーキテクチャ。
• 合理化された展開用のDockerコンテナ。
• アプリのフットプリントを最小限に抑えるために、低コストライブラリ（SQLiteおよびUsearch Vector Search）の利用。
• MMAPベースのベクトル検索により、アプリケーションはRaspberry Piなどの予算に優しいマシンで効率的に動作できます。
• 堅牢なトラフィックハンドリング用のNginx構成。
• DDOS攻撃に対して保護するために実装されたレート制限。
• nginxキャッシングサーバーリソースの使用量を最適化します。
• Kubernetesを使用した自動スケーリング機能。

インストール

注：このセットアップは、X86_64とAARCH64アーキテクチャの両方でUbuntu 22.04でテストされています。

1。Dockerをインストールします

1. このリンクからDockerをインストールする手順に従ってください：ubuntuにDockerをインストールします。
2. ここで概説したインストール後の手順を必ず完了してください。

2。NGINXをインストールします

Ubuntu 22.04にNginxをインストールする方法を使用できるガイドをフォローして、Nginxをインストールします。

3.NodeJSをインストールします

このチュートリアルを参照して、node.js（v20.18.0）をインストールできます：ubuntu 22.04にnode.jsをインストールする方法。

4.コードをダウンロードします

次のコマンドを実行して、リポジトリをクローンします。

 git clone https://github.com/piyp791/playlist2vec.git

5。プロジェクトに移動します

実行して、プロジェクトディレクトリに移動します。

 cd playlist2vec

6。NGINXセットアップ

1. nginx/nginx.confファイルを/etc/nginx/にコピーします。

2. nginx/site_configファイルを/etc/nginx/sites-available/<YOURSITENAME>にコピーします。

3. 次のコマンドを使用して、サイトからsites-enabledをsites-availableからサイトへのシンボリックリンクを作成します。

    sudo ln -s /etc/nginx/sites-available/<YOURSITENAME> /etc/nginx/sites-enabled/
   

4. 実行して、デフォルトの構成ファイルを削除します。

    sudo rm /etc/nginx/sites-enabled/default
   

5. nginxのキャッシュディレクトリを作成します。

    sudo mkdir /var/cache/nginx
   

6. 実行することにより、構成が正しいことを確認してください。

    sudo nginx -t
   

7. コマンドでnginxを再起動します。

    sudo systemctl restart nginx
   

7.アプリケーションをインストールします

プロジェクトディレクトリ内から、ビルドスクリプトを実行します。

 ./build.sh.

これにより、HTTPSフロントエンド用のCloudFlareトンネルのようなサービスと統合できるWebサイトのHTTPバージョンが作成されます。

注記

デフォルトでは、ビルドスクリプトは、377,000個のアイテムを含むコーパスのミニバージョンを使用するようにアプリケーションを構成します。この構成では、ミニコーパスの検索インデックスがメモリにロードされます。対照的に、完全なコーパスで構築された検索インデックスには、メモリマップモードでアクセスされます。

この設定を変更するには、 .envファイルを変更できます。 IS_MINI変数をfalseに設定して、コーパスのフルバージョンを使用します。

 IS_MINI=false

開発モードで実行されます（nginxなし）

検索サービスのセットアップ：

 cd search-service
python3 -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt
uvicorn src.server:app --port 3001

オートコンプリートサービスの設定：

 cd autocomplete-service
python3 -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt
uvicorn src.server:app --port 3002

Webサーバーのセットアップ：

 cd web-server
npm install
npm run start-dev-mode

テストを実行します

 cd web-server
npm run test-dev

引用

 Papreja, P., Venkateswara, H., Panchanathan, S. (2020). Representation, Exploration and Recommendation of Playlists. In: Cellier, P., Driessens, K. (eds) Machine Learning and Knowledge Discovery in Databases. ECML PKDD 2019. Communications in Computer and Information Science, vol 1168. Springer, Cham. https://doi.org/10.1007/978-3-030-43887-6_50