JEN 1 COMPOSER pytorch

jen-1-composer-pytorch（wip）

非公式の実装JEN-1 Composer：High-Fidelity Multi-Track Music Generationの統一フレームワーク（https://arxiv.org/abs/2310.19180）

readme

クイックインデックス

• インストール
• ？使用法
• ？todo
• デモ
• 感謝
• §あなたのサポートを撮ります
• 歓迎されます

インストール

 git clone https://github.com/0417keito/JEN-1-pytorch.git
cd JEN-1-pytorch
pip install -r requirements.txt

？使用法

サンプリング

 import torch
from generation import Jen1

ckpt_path =  'your ckpt path'
jen1 = Jen1 ( ckpt_path )

prompt = 'a beautiful song'
samples = jen1 . generate ( prompt )

トレーニング

 torchrun train.py

データセット形式

JSON形式。 JSONファイルの名前は、ターゲットミュージックファイルと同じでなければなりません。

{ "prompt" : " a beautiful song " }

 How should the data_dir be created ?

'''
dataset_dir
├── audios
|    ├── music1.wav
|    ├── music2.wav
|    .......
|    ├── music{n}.wav
|
├── metadata
|   ├── music1.json
|   ├── music2.json
|   ......
|   ├── music{n}.json
|
'''

構成について

config.py and ponditioner_config.pyを参照してください

？todo

• Jen-1-Composerへの拡張
• 歌の声で音楽世代の拡張
• 一貫性モデルの適応
• 論文では、拡散自動エンコーダーが使用されましたが、コンピューティングリソースはあまりありませんでした。そのため、代わりにEncodecを使用しました。したがって、余裕があれば、拡散オートエンコーダーを実装します。

デモ

近日公開 ！

感謝

Adam Fils博士 - サポートのために、これを私の注意を引き付けました。

§あなたのサポートを撮ります

このリポジトリが面白くて便利だと思う場合は、GitHubで€€をお願いします！モデルの改善を続け、エキサイティングな機能を追加することを奨励しています。問題ごとに欠陥があることをお知らせください。

歓迎されます

貢献はいつでも大歓迎です。

引用

 @misc { 2310.19180 ,
Author = { Yao Yao and Peike Li and Boyu Chen and Alex Wang } ,
Title = { JEN-1 Composer: A Unified Framework for High-Fidelity Multi-Track Music Generation } ,
Year = { 2023 } ,
Eprint = { arXiv:2310.19180 } ,
}