JEN 1 COMPOSER pytorch

Jen-1-Composer-Pytorch (WIP)

Inoffizieller Implementierung Jen-1 Komponist: Ein einheitliches Rahmen für die Musikgenerierung von hoher Fidelity (https://arxiv.org/abs/2310.19180)

Readme

Schneller Index

• Installation
• ?Verwendung
• ? TODO
• Demo
• Anerkennung
• ️Show Ihre Unterstützung
• ? Willkommen Beiträge

Installation

 git clone https://github.com/0417keito/JEN-1-pytorch.git
cd JEN-1-pytorch
pip install -r requirements.txt

?Verwendung

Probenahme

 import torch
from generation import Jen1

ckpt_path =  'your ckpt path'
jen1 = Jen1 ( ckpt_path )

prompt = 'a beautiful song'
samples = jen1 . generate ( prompt )

Ausbildung

 torchrun train.py

Datensatzformat

JSON -Format. Der Name der JSON -Datei muss mit der Zielmusikdatei übereinstimmen.

{ "prompt" : " a beautiful song " }

 How should the data_dir be created ?

'''
dataset_dir
├── audios
|    ├── music1.wav
|    ├── music2.wav
|    .......
|    ├── music{n}.wav
|
├── metadata
|   ├── music1.json
|   ├── music2.json
|   ......
|   ├── music{n}.json
|
'''

Über Konfiguration

Siehe config.py und Conditioner_config.py

? TODO

• Erweiterung des Jen-1-Komponisten
• Erweiterung der Musikgenerierung mit singender Stimme
• Anpassung des Konsistenzmodells
• In der Arbeit wurde der Diffusions -Autoencoder verwendet, aber ich hatte nicht viel Rechenressourcen, daher habe ich stattdessen Encodec verwendet. Wenn ich es mir also leisten kann, werde ich Diffusion Autocoder implementieren.

Demo

bald kommen!

Anerkennung

Dr. Adam Fils - zur Unterstützung und mich aufmerksam.

️Show Ihre Unterstützung

Wenn Sie dieses Repo interessant und nützlich finden, geben Sie uns ein ️ auf GitHub! Es ermutigt uns, das Modell weiter zu verbessern und aufregende Funktionen hinzuzufügen. Bitte informieren Sie uns über alle Mängel.

? Willkommen Beiträge

Beiträge sind immer willkommen.

Zitate

 @misc { 2310.19180 ,
Author = { Yao Yao and Peike Li and Boyu Chen and Alex Wang } ,
Title = { JEN-1 Composer: A Unified Framework for High-Fidelity Multi-Track Music Generation } ,
Year = { 2023 } ,
Eprint = { arXiv:2310.19180 } ,
}