JEN 1 COMPOSER pytorch

JEN-1-COMPOSER-PYTORCH（WIP）

非官方实施JEN-1作曲家：高保真多轨音乐生成的统一框架（https://arxiv.org/abs/2310.19180）

读书我

快速索引

• 安装
• ？用法
• ？
• 演示
• 欣赏
• 展示您的支持
• 欢迎捐款

安装

 git clone https://github.com/0417keito/JEN-1-pytorch.git
cd JEN-1-pytorch
pip install -r requirements.txt

？用法

采样

 import torch
from generation import Jen1

ckpt_path =  'your ckpt path'
jen1 = Jen1 ( ckpt_path )

prompt = 'a beautiful song'
samples = jen1 . generate ( prompt )

训练

 torchrun train.py

数据集格式

JSON格式。 JSON文件的名称必须与目标音乐文件相同。

{ "prompt" : " a beautiful song " }

 How should the data_dir be created ?

'''
dataset_dir
├── audios
|    ├── music1.wav
|    ├── music2.wav
|    .......
|    ├── music{n}.wav
|
├── metadata
|   ├── music1.json
|   ├── music2.json
|   ......
|   ├── music{n}.json
|
'''

关于配置

请参阅config.py和parcheder_config.py

？

• 扩展到JEN-1-COMPOSER
• 用歌声扩展到音乐发电
• 一致性模型的适应
• 在本文中，使用了扩散自动编码器，但是我没有太多的计算资源，因此我使用了Eccodec。因此，如果我负担得起，我将实施扩散自动编码器。

演示

即将推出 ！

欣赏

亚当·菲尔斯（Adam Fils）博士 - 为了支持并引起我的注意。

展示您的支持

如果您觉得这个仓库有趣且有用，请在Github上给我们配！它鼓励我们不断改进模型并添加令人兴奋的功能。请通过问题通知我们任何缺陷。

欢迎捐款

总是欢迎捐款。

引用

 @misc { 2310.19180 ,
Author = { Yao Yao and Peike Li and Boyu Chen and Alex Wang } ,
Title = { JEN-1 Composer: A Unified Framework for High-Fidelity Multi-Track Music Generation } ,
Year = { 2023 } ,
Eprint = { arXiv:2310.19180 } ,
}