JEN 1 COMPOSER pytorch

JEN-1-COMPOSER-PYTORCH（WIP）

非官方實施JEN-1作曲家：高保真多軌音樂生成的統一框架（https://arxiv.org/abs/2310.19180）

讀書我

快速索引

• 安裝
• ？用法
• ？
• 演示
• 欣賞
• 展示您的支持
• 歡迎捐款

安裝

 git clone https://github.com/0417keito/JEN-1-pytorch.git
cd JEN-1-pytorch
pip install -r requirements.txt

？用法

採樣

 import torch
from generation import Jen1

ckpt_path =  'your ckpt path'
jen1 = Jen1 ( ckpt_path )

prompt = 'a beautiful song'
samples = jen1 . generate ( prompt )

訓練

 torchrun train.py

數據集格式

JSON格式。 JSON文件的名稱必須與目標音樂文件相同。

{ "prompt" : " a beautiful song " }

 How should the data_dir be created ?

'''
dataset_dir
├── audios
|    ├── music1.wav
|    ├── music2.wav
|    .......
|    ├── music{n}.wav
|
├── metadata
|   ├── music1.json
|   ├── music2.json
|   ......
|   ├── music{n}.json
|
'''

關於配置

請參閱config.py和parcheder_config.py

？

• 擴展到JEN-1-COMPOSER
• 用歌聲擴展到音樂發電
• 一致性模型的適應
• 在本文中，使用了擴散自動編碼器，但是我沒有太多的計算資源，因此我使用了Eccodec。因此，如果我負擔得起，我將實施擴散自動編碼器。

演示

即將推出 ！

欣賞

亞當·菲爾斯（Adam Fils）博士 - 為了支持並引起我的注意。

展示您的支持

如果您覺得這個倉庫有趣且有用，請在Github上給我們配！它鼓勵我們不斷改進模型並添加令人興奮的功能。請通過問題通知我們任何缺陷。

歡迎捐款

總是歡迎捐款。

引用

 @misc { 2310.19180 ,
Author = { Yao Yao and Peike Li and Boyu Chen and Alex Wang } ,
Title = { JEN-1 Composer: A Unified Framework for High-Fidelity Multi-Track Music Generation } ,
Year = { 2023 } ,
Eprint = { arXiv:2310.19180 } ,
}