JEN 1 COMPOSER pytorch

Jen-1-Composer-Pytorch (WIP)

Implementasi Tidak Resmi Jen-1 Composer: Kerangka Kerja Terpadu untuk Generasi Musik Multi-Track High-Fidelity (https://arxiv.org/abs/2310.19180)

Readme

Indeks cepat

• Instalasi
• ?Penggunaan
• ? Todo
• Demo
• Apresiasi
• Anding menunjukkan dukungan Anda
• Kontribusi selamat datang

Instalasi

 git clone https://github.com/0417keito/JEN-1-pytorch.git
cd JEN-1-pytorch
pip install -r requirements.txt

?Penggunaan

Contoh

 import torch
from generation import Jen1

ckpt_path =  'your ckpt path'
jen1 = Jen1 ( ckpt_path )

prompt = 'a beautiful song'
samples = jen1 . generate ( prompt )

Pelatihan

 torchrun train.py

Format dataset

Format JSON. Nama file JSON harus sama dengan file musik target.

{ "prompt" : " a beautiful song " }

 How should the data_dir be created ?

'''
dataset_dir
├── audios
|    ├── music1.wav
|    ├── music2.wav
|    .......
|    ├── music{n}.wav
|
├── metadata
|   ├── music1.json
|   ├── music2.json
|   ......
|   ├── music{n}.json
|
'''

Tentang konfigurasi

Silakan lihat config.py dan conditioner_config.py

? Todo

• Ekstensi ke Jen-1-Composer
• Ekstensi ke generasi musik dengan suara bernyanyi
• Adaptasi model konsistensi
• Dalam makalah ini, autoencoder difusi digunakan, tetapi saya tidak memiliki banyak sumber daya komputasi, jadi saya menggunakan EncodeC sebagai gantinya. Jadi, jika saya mampu membelinya, saya akan menerapkan Autoencoder difusi.

Demo

segera hadir !

Apresiasi

Dr Adam Fils - untuk dukungan dan membawa ini ke perhatian saya.

Anding menunjukkan dukungan Anda

Jika Anda menemukan repo ini menarik dan bermanfaat, beri kami ️ di GitHub! Ini mendorong kami untuk terus meningkatkan model dan menambahkan fitur yang menarik. Harap beri tahu kami tentang kekurangan apa pun berdasarkan masalah.

Kontribusi selamat datang

Kontribusi selalu diterima.

Kutipan

 @misc { 2310.19180 ,
Author = { Yao Yao and Peike Li and Boyu Chen and Alex Wang } ,
Title = { JEN-1 Composer: A Unified Framework for High-Fidelity Multi-Track Music Generation } ,
Year = { 2023 } ,
Eprint = { arXiv:2310.19180 } ,
}