inference audiocraft musicgen on amazon sagemaker

Amazon Sagemaker上推断Audiocraft Musicgen

使用SageMaker端点进行异步推理，在Amazon Sagemaker上部署Audiocraft Musicgen。

博客：使用Amazon SageMaker推理Audiocraft Musicgen模型

该解决方案展示了从Amazon Sagemaker上的HuggingFace部署Audiocraft Musicgen模型。 MusicGen模型将自然语言文本作为输入提示，并将音乐作为输出。

听众由三种型号组成：MusicGen，Audiogen和codec。该回购旨在在Amazon Sagemaker上部署MusicGen模型，以进行异步推断。

解决方案概述

1. 用户使用SageMaker Studio笔记本来调用SageMaker异步端点。
2. 输入有效载荷已上传到S3存储桶以进行推理。有效载荷包括提示和音乐生成参数。生成的音乐将从S3存储桶中下载。
3. facebook/musicgen-large模型将部署到SageMaker异步端点。该终点将用于推断音乐发电。
4. HuggingFace推理容器图像将用作基本图像。我们将使用支持Pytorch 2.1.0的图像，并使用HuggingFace Transferes框架。
5. Sagemaker HuggingFaceModel将部署到sagemaker异步端点。
6. Huggingface模型是该博客范围中的facebook/musicgen-large ，将在部署期间上传到S3。同样，在推断期间，生成的输出将上传到S3。
7. Amazon SNS主题通知成功和失败被定义为SageMaker异步推理配置的一部分。

Amazon Sagemaker上的HuggingFace模型的异步推理序列流量Facebook/Musicgen-Large

部署和推理笔记本

此存储库中使用的部署笔记本使用HuggingFace作为MusicGen模型的模型提供商。下面列出了相应模型的相应部署和推理notboks。

Huggingace模型ID	部署笔记本	推理笔记本
Facebook/Musicgen-Large	部署	推理
Facebook/Musicgen-Medium	部署	推理
Facebook/Musicgen-small	部署	推理

参考

• 开放采购的听力：用于音频的生成AI简单，可供所有人使用
• https://huggingface.co/facebook/musicgen-large
• https://huggingface.co/docs/transformers/model_doc/musicgen#generation
• https://github.com/facebookresearch/audiocraft/blob/main/readme.md
• https://sagemaker.readthedocs.io/en/stable/frameworks/huggingface/sagemaker.huggingface.html#hugging-face-model
• https://sagemaker.readthedocs.io/en/stable/api/inference/predictors.html#sagemaker.predictor.predictor.predict.predict
• https://github.com/aws/amazon-sagemaker-examples/blob/main/async-inperion/transcription_on_sm_endpoint.ipynb
• https://docs.aws.amazon.com/sagemaker/latest/dg/large-model-inperion-uncompressed.html
• https://docs.aws.amazon.com/sagemaker/latest/dg/async-inference-create-create-endpoint.html

安全

有关更多信息，请参见贡献。

引用

 @inproceedings{copet2023simple,
    title={Simple and Controllable Music Generation},
    author={Jade Copet and Felix Kreuk and Itai Gat and Tal Remez and David Kant and Gabriel Synnaeve and Yossi Adi and Alexandre Défossez},
    booktitle={Thirty-seventh Conference on Neural Information Processing Systems},
    year={2023},
}

执照

该图书馆已获得MIT-0许可证的许可。请参阅许可证文件。