JEN 1 COMPOSER pytorch

Jen-1-Composer-Pytorch (WIP)

Implementação não oficial JEN-1 Composer: Uma estrutura unificada para geração de música multi-fa-track de alta fidelidade (https://arxiv.org/abs/2310.19180)

Readme

ÍNDICE RÁPIDO

• Instalação
• ?Uso
• ?PENDÊNCIA
• Demonstração
• Apreciação
• ️Soe seu apoio
• ? Contribuições de boas -vindas

Instalação

 git clone https://github.com/0417keito/JEN-1-pytorch.git
cd JEN-1-pytorch
pip install -r requirements.txt

?Uso

Amostragem

 import torch
from generation import Jen1

ckpt_path =  'your ckpt path'
jen1 = Jen1 ( ckpt_path )

prompt = 'a beautiful song'
samples = jen1 . generate ( prompt )

Treinamento

 torchrun train.py

Formato do conjunto de dados

JSON FORMAT. O nome do arquivo json deve ser o mesmo que o arquivo de música de destino.

{ "prompt" : " a beautiful song " }

 How should the data_dir be created ?

'''
dataset_dir
├── audios
|    ├── music1.wav
|    ├── music2.wav
|    .......
|    ├── music{n}.wav
|
├── metadata
|   ├── music1.json
|   ├── music2.json
|   ......
|   ├── music{n}.json
|
'''

Sobre configuração

Consulte Config.py e condicionador_config.py

?PENDÊNCIA

• Extensão para Jen-1-Composer
• Extensão para geração musical com voz cantora
• Adaptação de modelo de consistência
• No artigo, foi utilizado o AutoEncoder de difusão, mas eu não tinha muitos recursos de computação, então usei o CODEC. Portanto, se eu puder pagar, implementarei o AutoEncoder de difusão.

Demonstração

em breve !

Apreciação

O Dr. Adam Fils - para apoio e chamou minha atenção.

️Soe seu apoio

Se você achar esse repositório interessante e útil, dê -nos um jos no Github! Ele nos incentiva a continuar melhorando o modelo e adicionando recursos interessantes. Informe -nos sobre quaisquer deficiências por edição.

? Contribuições de boas -vindas

As contribuições são sempre bem -vindas.

Citações

 @misc { 2310.19180 ,
Author = { Yao Yao and Peike Li and Boyu Chen and Alex Wang } ,
Title = { JEN-1 Composer: A Unified Framework for High-Fidelity Multi-Track Music Generation } ,
Year = { 2023 } ,
Eprint = { arXiv:2310.19180 } ,
}