inference audiocraft musicgen on amazon sagemaker

Amazon Sagemaker에서 Audiocraft Musicgen을 추론합니다

비동기 추론을 위해 Sagemaker 엔드 포인트를 사용하여 Amazon Sagemaker에 Audiocraft Musicgen을 배포하십시오.

블로그 : Amazon Sagemaker를 사용한 Audiocraft Musicgen 모델을 추론합니다

이 솔루션은 Amazon Sagemaker의 Huggingface에서 Audiocraft Musicgen 모델을 배포하는 것을 보여줍니다. MusicGen 모델은 자연 언어 텍스트를 입력 프롬프트로 취하고 음악을 출력으로 생성합니다.

오디오 크래프트는 Musicgen, Audiogen 및 Encodec의 세 가지 모델로 구성됩니다. 이 repo는 비동기 추론을 위해 Amazon Sagemaker에 MusicGen 모델을 배포하는 것을 목표로합니다.

솔루션 개요

1. 사용자는 Sagemaker Studio Notebook을 사용하여 Sagemaker 비동기 엔드 포인트를 호출합니다.
2. 입력 페이로드는 추론을 위해 S3 버킷에 업로드됩니다. 페이로드는 프롬프트와 음악 생성 매개 변수로 구성됩니다. 생성 된 음악은 S3 버킷에서 다운로드됩니다.
3. facebook/musicgen-large 모델은 Sagemaker 비동기 종점에 배치됩니다. 이 엔드 포인트는 음악 생성을 추론하는 데 사용됩니다.
4. Huggingface 추론 컨테이너 이미지는 기본 이미지로 사용됩니다. Huggingface Transformers 프레임 워크와 함께 Pytorch 2.1.0을 지원하는 이미지를 사용합니다.
5. Sagemaker HuggingFaceModel Sagemaker 비동기 종말점에 배치됩니다.
6. 이 블로그의 범위의 facebook/musicgen-large 인 Huggingface 모델은 배포 중에 S3에 업로드됩니다. 또한 추론 중에 생성 된 출력은 S3에 업로드됩니다.
7. 성공 및 실패를 알리는 Amazon SNS 주제는 Sagemaker 비동기 추론 구성의 일부로 정의됩니다.

Amazon Sagemaker의 포옹 페이스 페이스 북/음악 겐-레이지를위한 비동기 추론 순서 흐름

배포 및 추론 노트북

이 Repo에 사용 된 배포 노트북은 HuggingFace를 MusicGen 모델의 모델 제공 업체로 사용합니다. 각 모델에 대한 해당 배포 및 추론 노트는 아래에 표식화됩니다.

Huggingace 모델 ID	노트북 배포	추론 노트북
Facebook/Musicgen-Large	배포	추론
Facebook/Musicgen-Medium	배포	추론
Facebook/Musicgen-Small	배포	추론

참조

• 오픈 소싱 오디오 크래프트 : 간단하고 모든 사람이 사용할 수있는 오디오 용 생성 AI
• https://huggingface.co/facebook/musicgen-large
• https://huggingface.co/docs/transformers/model_doc/musicgen#generation
• https://github.com/facebookresearch/audiocraft/blob/main/readme.md
• https://sagemaker.readthedocs.io/en/stable/frameworks/huggingface/sagemaker.huggingface.html#hugging-face-model
• https://sagemaker.readthedocs.io/en/stable/api/inference/predictors.html#sagemaker.predictor.predictor.predict
• https://github.com/aws/amazon-sagemaker-examples/blob/main/async-inference/transcript_on_sm_endpoint.ipynb
• https://docs.aws.amazon.com/sagemaker/latest/dg/large-model-inference-uncompressed.html
• https://docs.aws.amazon.com/sagemaker/latest/dg/async-inference-create-endpoint.html

보안

자세한 내용은 기여를 참조하십시오.

소환

 @inproceedings{copet2023simple,
    title={Simple and Controllable Music Generation},
    author={Jade Copet and Felix Kreuk and Itai Gat and Tal Remez and David Kant and Gabriel Synnaeve and Yossi Adi and Alexandre Défossez},
    booktitle={Thirty-seventh Conference on Neural Information Processing Systems},
    year={2023},
}

특허

이 라이브러리는 MIT-0 라이센스에 따라 라이센스가 부여됩니다. 라이센스 파일을 참조하십시오.