inference audiocraft musicgen on amazon sagemaker

Inferencia Audiocraft MusicGen en Amazon Sagemaker

Implemente Audiocraft MusicGen en Amazon Sagemaker utilizando SageMaker Endpoints para la inferencia de async.

Blog: Inferencias Audiocraft MusicGen Models con Amazon Sagemaker

Esta solución demuestra la implementación de modelos AudioCraft MusicGen de Huggingface en Amazon Sagemaker. Los modelos de MusicGen toman el texto del lenguaje natural como aviso de entrada y generan música como salida.

Audiocraft consta de tres modelos: MusicGen, Audiogen y Codec. Este repositorio tiene como objetivo implementar modelos MusicGen en Amazon Sagemaker para inferencia asíncrona.

Descripción general de la solución

1. El usuario invoca el punto final asíncrono de Sagemaker utilizando un cuaderno de estudio Sagemaker.
2. La carga útil de entrada se carga a un cubo S3 para inferencia. La carga útil consta de los parámetros de generación de música y de la música. La música generada se descargará del cubo S3.
3. El modelo facebook/musicgen-large se implementará en un punto final asíncrono de Sagemaker. Este punto final se utilizará para inferir para la generación de música.
4. La imagen de contenedores de inferencia Huggingface se utilizará como una imagen base. Usaremos una imagen que admite Pytorch 2.1.0 con un marco de Transformers Huggingface.
5. El Sagemaker HuggingFaceModel se desplegará en un punto final asíncrono de Sagemaker.
6. El modelo Huggingface, facebook/musicgen-large en el alcance de este blog, se cargará a S3 durante la implementación. Además, durante la inferencia, las salidas generadas se cargarán a S3.
7. Los temas de Amazon SNS para notificar al éxito y el fracaso se definen como parte de la configuración de inferencia asíncrona de Sagemaker.

Flujo de secuencia de inferencia asincrónica para el modelo de Huggingface Facebook/MusicGen-Large en Amazon Sagemaker

Cuadernos de implementación e inferencia

Los cuadernos de implementación utilizados en este repositorio usan Huggingface como proveedor de modelos para los modelos MusicGen. La implementación y la inferencia correspondientes notas para los modelos respectivos se establecen a continuación.

ID de modelo HuggingAace	Implementar un cuaderno	Cuaderno de inferencia
Facebook/MusicGen-Large	Desplegar	Inferencia
Facebook/MusicGen-Medio	Desplegar	Inferencia
Facebook/MusicGen-Small	Desplegar	Inferencia

Referencias

• Audiocraft de fuga abierta: IA generativa para audio hecho simple y disponible para todos
• https://huggingface.co/facebook/musicgen-large
• https://huggingface.co/docs/transformers/model_doc/musicgen#generation
• https://github.com/facebookresearch/audiocraft/blob/main/readme.md
• https://sagemaker.readthedocs.io/en/stable/frameworks/huggingface/sagemaker.huggingface.html#hugging-face-model
• https://sagemaker.readthedocs.io/en/stable/api/inference/predictors.html#sagemaker.predictor.predictor.predict
• https://github.com/aws/amazon-sagemaker-examples/blob/main/asyncinference/transcription_on_sm_endpoint.ipynb
• https://docs.aws.amazon.com/sagemaker/latest/dg/large-model-inference-undcomsised.html
• https://docs.aws.amazon.com/sagemaker/latest/dg/async-inference-create-endpoint.html

Seguridad

Ver contribuyendo para más información.

Citación

 @inproceedings{copet2023simple,
    title={Simple and Controllable Music Generation},
    author={Jade Copet and Felix Kreuk and Itai Gat and Tal Remez and David Kant and Gabriel Synnaeve and Yossi Adi and Alexandre Défossez},
    booktitle={Thirty-seventh Conference on Neural Information Processing Systems},
    year={2023},
}

Licencia

Esta biblioteca tiene licencia bajo la licencia MIT-0. Ver el archivo de licencia.