JEN 1 COMPOSER pytorch

Jen-1-Composer-Pytorch (WIP)

Неофициальная реализация JEN-1 Композитор: унифицированная структура для многократного поколения музыки с высокой точки зрения (https://arxiv.org/abs/2310.19180)

Ридме

Быстрый индекс

• Установка
• ? Использование
• ? Тодо
• Демо
• Признательность
• ️Show Your Support
• ? Добро пожаловать вклад

Установка

 git clone https://github.com/0417keito/JEN-1-pytorch.git
cd JEN-1-pytorch
pip install -r requirements.txt

? Использование

Выборка

 import torch
from generation import Jen1

ckpt_path =  'your ckpt path'
jen1 = Jen1 ( ckpt_path )

prompt = 'a beautiful song'
samples = jen1 . generate ( prompt )

Обучение

 torchrun train.py

Формат набора данных

Формат JSON. Имя файла JSON должно быть таким же, как и целевой музыкальный файл.

{ "prompt" : " a beautiful song " }

 How should the data_dir be created ?

'''
dataset_dir
├── audios
|    ├── music1.wav
|    ├── music2.wav
|    .......
|    ├── music{n}.wav
|
├── metadata
|   ├── music1.json
|   ├── music2.json
|   ......
|   ├── music{n}.json
|
'''

О конфигурации

См. Config.py и Condenter_config.py

? Тодо

• Расширение на JEN-1-Composer
• Расширение на поколение музыки с поющим голосом
• Адаптация модели последовательности
• В статье использовался диффузионный автоэкодер, но у меня не было много вычислительных ресурсов, поэтому я использовал Encodec вместо этого. Так что, если я смогу себе это позволить, я буду реализовать диффузионный автоэкодер.

Демо

вскоре !

Признательность

Доктор Адам Филс - для поддержки и привлек это к моему вниманию.

️Show Your Support

Если вы найдете это репо интересным и полезным, дайте нам ️ на GitHub! Это побуждает нас продолжать улучшать модель и добавлять захватывающие функции. Пожалуйста, сообщите нам о любых недостатках по вопросу.

? Добро пожаловать вклад

Вклад всегда приветствуются.

Цитаты

 @misc { 2310.19180 ,
Author = { Yao Yao and Peike Li and Boyu Chen and Alex Wang } ,
Title = { JEN-1 Composer: A Unified Framework for High-Fidelity Multi-Track Music Generation } ,
Year = { 2023 } ,
Eprint = { arXiv:2310.19180 } ,
}