JEN 1 COMPOSER pytorch

Jen-1-composer-pytorch (WIP)

การใช้งานอย่างไม่เป็นทางการ JEN-1 นักแต่งเพลง: เฟรมเวิร์กแบบครบวงจรสำหรับการสร้างเพลงแบบหลายแทร็กที่มีความเที่ยงตรงสูง (https://arxiv.org/abs/2310.19180)

readme

ดัชนีด่วน

• การติดตั้ง
• ? การใช้งาน
• ?
• การสาธิต
• ความกตัญญู
• ️แสดงการสนับสนุนของคุณ
• ? ยินดีต้อนรับผลงาน

การติดตั้ง

 git clone https://github.com/0417keito/JEN-1-pytorch.git
cd JEN-1-pytorch
pip install -r requirements.txt

? การใช้งาน

การสุ่มตัวอย่าง

 import torch
from generation import Jen1

ckpt_path =  'your ckpt path'
jen1 = Jen1 ( ckpt_path )

prompt = 'a beautiful song'
samples = jen1 . generate ( prompt )

การฝึกอบรม

 torchrun train.py

รูปแบบชุดข้อมูล

รูปแบบ JSON ชื่อของไฟล์ JSON จะต้องเหมือนกับไฟล์เพลงเป้าหมาย

{ "prompt" : " a beautiful song " }

 How should the data_dir be created ?

'''
dataset_dir
├── audios
|    ├── music1.wav
|    ├── music2.wav
|    .......
|    ├── music{n}.wav
|
├── metadata
|   ├── music1.json
|   ├── music2.json
|   ......
|   ├── music{n}.json
|
'''

เกี่ยวกับการกำหนดค่า

โปรดดู config.py และ conditioner_config.py

?

• ขยายไปยัง Jen-1-composer
• ส่วนขยายไปสู่การสร้างดนตรีด้วยเสียงร้องเพลง
• การปรับตัวของแบบจำลองความสอดคล้อง
• ในกระดาษมีการใช้งานการแพร่กระจายอัตโนมัติ แต่ฉันไม่ได้มีทรัพยากรคอมพิวเตอร์มากนักดังนั้นฉันจึงใช้ encodec แทน ดังนั้นถ้าฉันสามารถจ่ายได้ฉันจะใช้การแพร่กระจายอัตโนมัติ

การสาธิต

เร็วๆ นี้ !

ความกตัญญู

Dr Adam Fils - เพื่อสนับสนุนและนำสิ่งนี้มาให้ความสนใจของฉัน

️แสดงการสนับสนุนของคุณ

หากคุณพบว่า repo นี้น่าสนใจและมีประโยชน์ให้เราบน GitHub! มันกระตุ้นให้เราปรับปรุงโมเดลและเพิ่มคุณสมบัติที่น่าตื่นเต้น โปรดแจ้งให้เราทราบถึงข้อบกพร่องใด ๆ ตามปัญหา

? ยินดีต้อนรับผลงาน

ยินดีต้อนรับการมีส่วนร่วมเสมอ

การอ้างอิง

 @misc { 2310.19180 ,
Author = { Yao Yao and Peike Li and Boyu Chen and Alex Wang } ,
Title = { JEN-1 Composer: A Unified Framework for High-Fidelity Multi-Track Music Generation } ,
Year = { 2023 } ,
Eprint = { arXiv:2310.19180 } ,
}