embedding_studio
v0.0.1
ウェブサイト•ドキュメント•課題とソリューション•ユースケース
Embedding Studioは、組み合わせた埋め込みモデルとベクトルデータベースを包括的な検索エンジンにシームレスに変換するように設計された革新的なオープンソースフレームワークです。クリックストリームコレクション用の機能性が組み込まれており、検索エクスペリエンスの継続的な改善、埋め込みモデルの自動適応により、フルサイクル検索エンジン用のすぐに使用できるソリューションを提供します。
| コミュニティサポート |
| 埋め込みスタジオは、チームの熱意とともに成長します。リポジトリ上のあなたの星は、私たちが発展し続けるのに役立ちます。 私たちの目標を達成するために私たちに参加してください： |
（*） - 開発の機能
埋め込みスタジオは高度にカスタマイズ可能なので、あなたはあなた自身を持参できます：
こちらの詳細。
免責事項：埋め込みスタジオはさらに別のベクターデータベースではありません。これは、ベクターデータベースをすべてのニュアンスを持つ検索エンジンに変換できるフレームワークです。
課題と解決策の詳細はこちら
当社のフレームワークを使用すると、ユーザーエクスペリエンスに基づいてモデルを継続的に微調整し、ユーザークエリの検索結果をより速くより正確に形成することができます。
公式のドキュメントをご覧ください。
埋め込みスタジオを試すには、事前に構成されたデモンストレーションプロジェクトを開始できます。パブリックS3バケットに保存されたデータセット、ユーザークリック用のエミュレータ、モデルを微調整するための基本的なスクリプトを準備しました。要件に適応することにより、モデルの微調整を開始できます。
システムで動作するdocker compose versionコマンドがあることを確認してください。
Docker Compose version v2.23.3Docker-Composeバージョンコマンドを試すこともできます。今後、新しいDocker Composeバージョンコマンドを使用しますが、Docker-Composeバージョンコマンドもシステムでうまく機能する場合があります。
まず、次のコマンドを実行して、すべての埋め込みスタジオサービスを作成します。
docker compose up -dすべてのサービスが終了したら、埋め込みスタジオの使用を開始できます。ユーザー検索セッションをシミュレートしましょう。埋め込みスタジオAPIを呼び出してユーザーの動作をエミュレートする事前に構築されたスクリプトを実行します。
docker compose --profile demo_stage_clickstream up -dスクリプトの実行後、モデルの微調整を開始できます。次のコマンドを実行します。
docker compose --profile demo_stage_finetuning up -dこれにより、微調整者が処理するタスクがキューになります。微調整キューですべてのタスクを取得するには、エンドポイント/api/v1/fine-tuning/taskにGETリクエストを送信します。
curl -X GET http://localhost:5000/api/v1/fine-tuning/task答えは次のようなものになります：
[
{
"fine_tuning_method" : " Default Fine Tuning Method " ,
"status" : " processing " ,
"created_at" : " 2023-12-21T14:30:25.823000 " ,
"updated_at" : " 2023-12-21T14:32:16.673000 " ,
"batch_id" : " 65844a671089823652b83d43 " ,
"id" : " 65844c019fa7cf0957d04758 "
}
]タスクIDを取得したら、Endpoint /api/v1/fine-tuning/task/{task_id}にGETリクエストを送信することにより、微調整の進行状況を直接監視できます。
curl -X GET http://localhost:5000/api/v1/fine-tuning/task/65844c019fa7cf0957d04758結果は、すべてのタスクをクエリするときに受け取ったものと似ています。進行状況を追跡するためのより便利な方法については、http：// localhost：5001でMLFLOWを使用できます。
また、 fine_tuning_workerのログをチェックして、すべてが正しく機能していることを確認することも有益です。これを行うには、コマンドを使用してすべてのサービスをリストします。
docker logs embedding_studio-fine_tuning_worker-1すべてが正常に完了した場合、次のようなログが表示されます。
Epoch 2: 100% | ██████████ | 13/13 [01: 17< 00:00, 0.17it/s, v_num = 8]
[2023-12-21 14:59:05,931] [PID 7] [Thread-6] [pytorch_lightning.utilities.rank_zero] [INFO] ` Trainer.fit ` stopped: ` max_epochs=3 ` reached.
Epoch 2: 100% | ██████████ | 13/13 [01: 17< 00:00, 0.17it/s, v_num = 8]
[2023-12-21 14:59:05,975] [PID 7] [Thread-6] [embedding_studio.workers.fine_tuning.finetune_embedding_one_param] [INFO] Save model (best only, current quality: 8.426392069685529e-05)
[2023-12-21 14:59:05,975] [PID 7] [Thread-6] [embedding_studio.workers.fine_tuning.experiments.experiments_tracker] [INFO] Save model for 2 / 9a9509bf1ed7407fb61f8d623035278e
[2023-12-21 14:59:06,009] [PID 7] [Thread-6] [embedding_studio.workers.fine_tuning.experiments.experiments_tracker] [WARNING] No finished experiments found with model uploaded, except initial
[2023-12-21 14:59:16,432] [PID 7] [Thread-6] [embedding_studio.workers.fine_tuning.experiments.experiments_tracker] [INFO] Upload is finished
[2023-12-21 14:59:16,433] [PID 7] [Thread-6] [embedding_studio.workers.fine_tuning.finetune_embedding_one_param] [INFO] Saving is finished
[2023-12-21 14:59:16,433] [PID 7] [Thread-6] [embedding_studio.workers.fine_tuning.experiments.experiments_tracker] [INFO] Finish current run 2 / 9a9509bf1ed7407fb61f8d623035278e
[2023-12-21 14:59:16,445] [PID 7] [Thread-6] [embedding_studio.workers.fine_tuning.experiments.experiments_tracker] [INFO] Current run is finished
[2023-12-21 14:59:16,656] [PID 7] [Thread-6] [embedding_studio.workers.fine_tuning.experiments.experiments_tracker] [INFO] Finish current iteration 2
[2023-12-21 14:59:16,673] [PID 7] [Thread-6] [embedding_studio.workers.fine_tuning.experiments.experiments_tracker] [INFO] Current iteration is finished
[2023-12-21 14:59:16,673] [PID 7] [Thread-6] [embedding_studio.workers.fine_tuning.worker] [INFO] Fine tuning of the embedding model was completed successfully !おめでとう！モデルの改善に成功しました！
最適なモデルをダウンロードするには、埋め込みスタジオAPIを使用できます。
curl -X GET http://localhost:5000/api/v1/fine-tuning/task/65844c019fa7cf0957d04758すべてが問題ない場合、次の出力が表示されます。
{
"fine_tuning_method" : " Default Fine Tuning Method " ,
"status" : " done " ,
"best_model_url" : " http://localhost:5001/get-artifact?path=model%2Fdata%2Fmodel.pth&run_uuid=571304f0c330448aa8cbce831944cfdd " ,
...
}およびbest_model_urlフィールドには、httpアクセス可能なmodel.pthファイルが含まれています。
次のコマンドを実行して、 *.pthファイルをダウンロードできます。
wget http://localhost:5001/get-artifact ? path=model%2Fdata%2Fmodel.pth & run_uuid=571304f0c330448aa8cbce831944cfdd埋め込みスタジオへの貢献を歓迎します！
埋め込みスタジオは、バージョン2.0のApacheライセンスに基づいてライセンスされています。完全なライセンステキストについては、ライセンスを参照してください。
