inference audiocraft musicgen on amazon sagemaker

Inferência Audiocraft MusicGen no Amazon Sagemaker

Implante o Audiocraft MusicGen no Amazon Sagemaker usando o Sagemaker Endpoints para inferência assíncrona.

Blog: Inference Audiocraft MusicGen Models usando a Amazon Sagemaker

Esta solução demonstra a implantação de modelos Audiocraft MusicGen da HuggingFace no Amazon Sagemaker. Os modelos MusicGen tomam o texto da linguagem natural como prompt de entrada e geram música como saída.

O Audiocraft consiste em três modelos: MusicGen, Audiogen e Encodec. Este repositório visa implantar modelos MusicGen no Amazon Sagemaker para a inferência assíncrona.

Visão geral da solução

1. O usuário chama o terminal assíncrono do Sagemaker usando um notebook Sagemaker Studio.
2. A carga útil de entrada é carregada em um balde S3 para inferência. A carga útil consiste nos parâmetros de prompt e geração musical. A música gerada será baixada do S3 Bucket.
3. O modelo facebook/musicgen-large será implantado em um terminal assíncrono de sagema. Este terminal será usado para inferir para a geração de música.
4. A imagem dos contêineres de inferência Huggingface será usada como uma imagem base. Usaremos uma imagem que suporta o Pytorch 2.1.0 com uma estrutura de Transformers do Huggingface.
5. O Sagemaker HuggingFaceModel será implantado em um terminal assíncrono de sagema.
6. O modelo Huggingface, facebook/musicgen-large no escopo deste blog, será enviado para o S3 durante a implantação. Além disso, durante a inferência, as saídas geradas serão enviadas para S3.
7. Os tópicos do Amazon SNS para notificar o sucesso e a falha são definidos como parte da configuração de inferência assíncrona do Sagemaker.

Fluxo de sequência de inferência assíncrona para Huggingface Model Facebook/MusicGen-Large na Amazon Sagemaker

Notebooks de implantação e inferência

Os notebooks de implantação usados ​​neste repositório usa o HuggingFace como provedor de modelos para os modelos MusicGen. A implantação correspondente e a inferência NoteBoks para os respectivos modelos são tablulados abaixo.

ID do modelo HuggingACE	Notebook de implantação	Caderno de inferência
Facebook/MusicGen-Large	Implantar	Inferência
Facebook/MusicGen-Medium	Implantar	Inferência
Facebook/MusicGen-Small	Implantar	Inferência

Referências

• Audiocraft de fornecimento aberto: IA generativa para áudio foi simples e disponível para todos
• https://huggingface.co/facebook/musicgen-large
• https://huggingface.co/docs/transformers/model_doc/musicgen#generation
• https://github.com/facebookresearch/audiocraft/blob/main/readme.md
• https://sageMaker.readthedocs.io/en/stable/frameworks/huggingface/sageMaker.huggingface.html#hugging-face-model
• https://sagemaker.readthedocs.io/en/stable/api/inference/predictors.html#sageMaker.predictor.predictor.predict
• https://github.com/aws/amazon-sagemaker-examples/blob/main/asyncinfer/transcription_on_sm_endpoint.ipynb
• https://docs.aws.amazon.com/sagemaker/latest/dg/large-model-inference-uncompressed.html
• https://docs.aws.amazon.com/sageMaker/latest/dg/async-inference-create-endpoint.html

Segurança

Consulte contribuindo para mais informações.

Citação

 @inproceedings{copet2023simple,
    title={Simple and Controllable Music Generation},
    author={Jade Copet and Felix Kreuk and Itai Gat and Tal Remez and David Kant and Gabriel Synnaeve and Yossi Adi and Alexandre Défossez},
    booktitle={Thirty-seventh Conference on Neural Information Processing Systems},
    year={2023},
}

Licença

Esta biblioteca está licenciada sob a licença MIT-0. Veja o arquivo de licença.