JEN 1 COMPOSER pytorch

Jen-1-Composer-Pytorch (WIP)

Implementación no oficial del compositor Jen-1: un marco unificado para la generación de música múltiple de alta fidelidad (https://arxiv.org/abs/2310.19180)

Readme

Índice rápido

• Instalación
• ?Uso
• ?HACER
• Manifestación
• Apreciación
• Encar de su apoyo
• ? Contribuciones de bienvenida

Instalación

 git clone https://github.com/0417keito/JEN-1-pytorch.git
cd JEN-1-pytorch
pip install -r requirements.txt

?Uso

Muestreo

 import torch
from generation import Jen1

ckpt_path =  'your ckpt path'
jen1 = Jen1 ( ckpt_path )

prompt = 'a beautiful song'
samples = jen1 . generate ( prompt )

Capacitación

 torchrun train.py

Formato de conjunto de datos

Formato JSON. El nombre del archivo JSON debe ser el mismo que el archivo de música objetivo.

{ "prompt" : " a beautiful song " }

 How should the data_dir be created ?

'''
dataset_dir
├── audios
|    ├── music1.wav
|    ├── music2.wav
|    .......
|    ├── music{n}.wav
|
├── metadata
|   ├── music1.json
|   ├── music2.json
|   ......
|   ├── music{n}.json
|
'''

Acerca de la configuración

Consulte config.py y condicioner_config.py

?HACER

• Extensión al compositor Jen-1
• Extensión a la generación de música con voz de canto
• Adaptación del modelo de consistencia
• En el documento, se utilizó AutoCoder de difusión, pero no tenía muchos recursos informáticos, por lo que utilicé Codec. Entonces, si puedo pagarlo, implementaré Diffusion AutoCoder.

Manifestación

muy pronto !

Apreciación

Dr. Adam Fils: por apoyo y me llamó la atención.

Encar de su apoyo

Si encuentra este repositorio interesante y útil, danos un ️ en Github! Nos anima a seguir mejorando el modelo y agregar características emocionantes. Infórmenos sobre cualquier deficiencia por problema.

? Contribuciones de bienvenida

Las contribuciones siempre son bienvenidas.

Citas

 @misc { 2310.19180 ,
Author = { Yao Yao and Peike Li and Boyu Chen and Alex Wang } ,
Title = { JEN-1 Composer: A Unified Framework for High-Fidelity Multi-Track Music Generation } ,
Year = { 2023 } ,
Eprint = { arXiv:2310.19180 } ,
}