inference audiocraft musicgen on amazon sagemaker

Вывод Audiocraft MusicGen на Amazon SageMaker

Развернуть AudioCraft MusicGen на Amazon SageMaker, используя конечные точки SageMaker для асинхронного вывода.

Блог: выводы Audiocraft MusicGen Модели с использованием Amazon SageMaker

Это решение демонстрирует развертывание моделей AudioCraft MusicGen от HuggingFace на Amazon SageMaker. Модели MusicGen принимают текст естественного языка в качестве подсказки ввода и генерируют музыку в качестве вывода.

Audiocraft состоит из трех моделей: MusicGen, Audiogen и Encodec. Это репошет, направленная на развертывание моделей MusicGen на Amazon SageMaker для асинхронного вывода.

Обзор решения

1. Пользователь вызывает асинхронную конечную точку SageMaker, используя ноутбук SageMaker Studio.
2. Входная полезная нагрузка загружается в ведро S3 для вывода. Полезная нагрузка состоит как из параметров приглашения, так и параметров поколения музыки. Сгенерированная музыка будет загружена с ведра S3.
3. Модель facebook/musicgen-large будет развернута в асинхронной конечной точке SageMaker. Эта конечная точка будет использоваться для вывода для поколения музыки.
4. Изображение конференций по выводу HuggingFace будет использоваться в качестве базового изображения. Мы будем использовать изображение, которое поддерживает Pytorch 2.1.0 с рамкой трансформаторов HuggingFace.
5. SageMaker HuggingFaceModel будет развернута в асинхронной конечной точке SageMaker.
6. Модель HuggingFace, facebook/musicgen-large в сфере этого блога, будет загружена на S3 во время развертывания. Кроме того, во время вывода сгенерированные выходы будут загружены на S3.
7. Темы Amazon SNS, чтобы уведомить успех и сбой, определяются как часть конфигурации асинхронного вывода SageMaker.

Асинхронное поток последовательности вывода для модели Huggingface Facebook/MusicGen-Large на Amazon SageMaker

Записные книжки по развертыванию и выводу

Записные книжки для развертывания, используемые в этом репо, используют Huggingface в качестве поставщика моделей для моделей MusicGen. Соответствующие примечание для развертывания и вывода для соответствующих моделей внесены в планку ниже.

Идентификатор модели объятия	Развернуть ноутбук	Записная книжка по выводу
Facebook/MusicGen-Large	Развертывать	Вывод
Facebook/MusicGen-Medium	Развертывать	Вывод
Facebook/MusicGen-Small	Развертывать	Вывод

Ссылки

• Аудидиократ с открытым поиском: генеративный ИИ для аудио, сделанного простым и доступным для всех
• https://huggingface.co/facebook/musicgen-large
• https://huggingface.co/docs/transformers/model_doc/musicgen#generation
• https://github.com/facebookresearch/audiocraft/blob/main/readme.md
• https://sagemaker.readthedocs.io/en/stable/frameworks/huggingface/sagemaker.huggingface.html#hugging-face-model
• https://sagemaker.readthedocs.io/en/stable/api/inerence/predictors.html#sagemaker.predictor.predictor.predict
• https://github.com/aws/amazon-sagemaker-examples/blob/main/async-inference/transcription_on_sm_endpoint.ipynb
• https://docs.aws.amazon.com/sagemaker/latest/dg/large-model-inference-uncompressed.html
• https://docs.aws.amazon.com/sagemaker/latest/dg/async-infere-create-endpoint.html

Безопасность

Смотрите Anploying для получения дополнительной информации.

Цитирование

 @inproceedings{copet2023simple,
    title={Simple and Controllable Music Generation},
    author={Jade Copet and Felix Kreuk and Itai Gat and Tal Remez and David Kant and Gabriel Synnaeve and Yossi Adi and Alexandre Défossez},
    booktitle={Thirty-seventh Conference on Neural Information Processing Systems},
    year={2023},
}

Лицензия

Эта библиотека лицензирована по лицензии MIT-0. Смотрите файл лицензии.