JEN 1 COMPOSER pytorch

Jen-1-Composer-Pytorch (WIP)

비공식 구현 JEN-1 작곡가 : 고 충실한 멀티 트랙 음악 생성을위한 통합 프레임 워크 (https://arxiv.org/abs/2310.19180)

readme

빠른 색인

• 설치
• ?용법
• ? TODO
• 데모
• 감사
• 횡을 보이십시오
• ? 환영 기여

설치

 git clone https://github.com/0417keito/JEN-1-pytorch.git
cd JEN-1-pytorch
pip install -r requirements.txt

?용법

견본 추출

 import torch
from generation import Jen1

ckpt_path =  'your ckpt path'
jen1 = Jen1 ( ckpt_path )

prompt = 'a beautiful song'
samples = jen1 . generate ( prompt )

훈련

 torchrun train.py

데이터 세트 형식

JSON 형식. JSON 파일의 이름은 대상 음악 파일과 동일해야합니다.

{ "prompt" : " a beautiful song " }

 How should the data_dir be created ?

'''
dataset_dir
├── audios
|    ├── music1.wav
|    ├── music2.wav
|    .......
|    ├── music{n}.wav
|
├── metadata
|   ├── music1.json
|   ├── music2.json
|   ......
|   ├── music{n}.json
|
'''

구성 정보

config.py 및 conditioner_config.py를 참조하십시오

? TODO

• Jen-1-composer로의 확장
• 노래 목소리로 음악 생성으로의 확장
• 일관성 모델의 적응
• 논문에서는 확산 자동 인코더가 사용되었지만 컴퓨팅 리소스가 많지 않았으므로 대신 encodec을 사용했습니다. 따라서 감당할 수 있다면 확산 자동 인코더를 구현할 것입니다.

데모

곧 올 것입니다!

감사

Adam Fils 박사 - 지원을 위해 이것을 관심을 끌었습니다.

횡을 보이십시오

이 저장소가 흥미롭고 유용하다는 것을 알게되면 Github에 우리에게 ø를 줘! 모델을 계속 개선하고 흥미로운 기능을 추가하도록 권장합니다. 문제의 결함을 알려주십시오.

? 환영 기여

기부금은 항상 환영합니다.

인용

 @misc { 2310.19180 ,
Author = { Yao Yao and Peike Li and Boyu Chen and Alex Wang } ,
Title = { JEN-1 Composer: A Unified Framework for High-Fidelity Multi-Track Music Generation } ,
Year = { 2023 } ,
Eprint = { arXiv:2310.19180 } ,
}