inference audiocraft musicgen on amazon sagemaker

Amazon Sagemakerの推論Audiocraft Musicgen

Asyncの推論のためにSagemakerのエンドポイントを使用して、Amazon SagemakerにAudiocraft Musicgenを展開します。

ブログ：Amazon Sagemakerを使用した推論Audiocraft MusicGenモデル

このソリューションは、Amazon SagemakerのHuggingfaceからAudiocraft MusicGenモデルの展開を示しています。 MusicGenモデルは、自然言語テキストを入力プロンプトとして受け取り、音楽を出力として生成します。

Audiocraftは、MusicGen、Audiogen、およびEncodecの3つのモデルで構成されています。このレポは、非同期推論のためにAmazon SagemakerにMusicGenモデルを展開することを目的としています。

解決策の概要

1. ユーザーは、Sagemaker Studioノートブックを使用して、Sagemakerの非同期エンドポイントを呼び出します。
2. 入力ペイロードは、推論のためにS3バケットにアップロードされます。ペイロードは、プロンプトと音楽の生成パラメーターの両方で構成されています。生成された音楽は、S3バケットからダウンロードされます。
3. facebook/musicgen-largeモデルは、Sagemakerの非同期エンドポイントに展開されます。このエンドポイントは、音楽の生成を推測するために使用されます。
4. Huggingface Inferenceコンテナの画像は、ベース画像として使用されます。 Huggingface TransformersフレームワークでPytorch 2.1.0をサポートする画像を使用します。
5. Sagemaker HuggingFaceModel 、Sagemakerの非同期エンドポイントに展開されます。
6. このブログの範囲にあるfacebook/musicgen-largeあるHuggingfaceモデルは、展開中にS3にアップロードされます。また、推論中、生成された出力はS3にアップロードされます。
7. 成功と失敗に通知するAmazon SNSトピックは、Sagemaker非同期推論構成の一部として定義されます。

アマゾンのセイジメーカーでのハギングフェイスモデルのための非同期推論シーケンスフローFacebook/MusicGen-Large

展開および推論ノートブック

このレポで使用される展開ノートブックは、MusicGenモデルのモデルプロバイダーとしてHuggingfaceを使用しています。それぞれのモデルの対応する展開および推論ノートボックを以下に表現します。

Huggingace Model ID	ノートブックを展開します	推論ノートブック
Facebook/MusicGen-Large	展開する	推論
Facebook/MusicGen-Medium	展開する	推論
Facebook/MusicGen-Small	展開する	推論

参照

• オープンソーシングオーディオクラフト：オーディオ用の生成AIは、すべての人がシンプルで利用できるようにします
• https://huggingface.co/facebook/musicgen-large
• https://huggingface.co/docs/transformers/model_doc/musicgen#generation
• https://github.com/facebookresearch/audiocraft/blob/main/readme.md
• https://sagemaker.readthedocs.io/en/stable/frameworks/huggingface/sagemaker.huggingface.html#hugging-face-model
• https://sagemaker.readthedocs.io/en/stable/api/inference/predictors.html#sagemaker.predictor.predictor.predict
• https://github.com/aws/amazon-sagemaker-examples/blob/main/async-inference/transcription_on_sm_endpoint.ipynb
• https://docs.aws.amazon.com/sagemaker/latest/dg/large-model-inference-uncompressed.html
• https://docs.aws.amazon.com/sagemaker/latest/dg/async-inference-create-endpoint.html

安全

詳細については、貢献を参照してください。

引用

 @inproceedings{copet2023simple,
    title={Simple and Controllable Music Generation},
    author={Jade Copet and Felix Kreuk and Itai Gat and Tal Remez and David Kant and Gabriel Synnaeve and Yossi Adi and Alexandre Défossez},
    booktitle={Thirty-seventh Conference on Neural Information Processing Systems},
    year={2023},
}

ライセンス

このライブラリは、MIT-0ライセンスに基づいてライセンスされています。ライセンスファイルを参照してください。