JEN 1 COMPOSER pytorch

Jen-1-Composer-Pytorch (WIP)

التنفيذ غير الرسمي Jen-1 Composer: إطار موحد لتوليد الموسيقى متعددة الموسيقيين (https://arxiv.org/abs/2310.19180)

ReadMe

فهرس سريع

• تثبيت
• ؟ الاستخدام
• ؟ تودو
• العرض التوضيحي
• تقدير
• ️ إظهار دعمكم
• ؟ ترحيب المساهمات

تثبيت

 git clone https://github.com/0417keito/JEN-1-pytorch.git
cd JEN-1-pytorch
pip install -r requirements.txt

؟ الاستخدام

أخذ العينات

 import torch
from generation import Jen1

ckpt_path =  'your ckpt path'
jen1 = Jen1 ( ckpt_path )

prompt = 'a beautiful song'
samples = jen1 . generate ( prompt )

تمرين

 torchrun train.py

تنسيق مجموعة البيانات

تنسيق JSON. يجب أن يكون اسم ملف JSON هو نفسه ملف الموسيقى الهدف.

{ "prompt" : " a beautiful song " }

 How should the data_dir be created ?

'''
dataset_dir
├── audios
|    ├── music1.wav
|    ├── music2.wav
|    .......
|    ├── music{n}.wav
|
├── metadata
|   ├── music1.json
|   ├── music2.json
|   ......
|   ├── music{n}.json
|
'''

حول التكوين

يرجى الاطلاع

؟ تودو

• تمديد إلى Jen-1-Composer
• تمديد لتوليد الموسيقى مع صوت الغناء
• تكييف نموذج الاتساق
• في الورقة ، تم استخدام مشفر الانتشار التلقائي ، لكن لم يكن لدي الكثير من موارد الحوسبة ، لذلك استخدمت Encodec بدلاً من ذلك. لذلك ، إذا كان بإمكاني تحمل تكاليف ذلك ، فسوف أقوم بتنفيذ Autoencoder Diffusion.

العرض التوضيحي

قريباً !

تقدير

الدكتور آدم فيلز - للحصول على الدعم وجذب انتباهي.

️ إظهار دعمكم

إذا وجدت هذا الريبو مثيرًا للاهتمام ومفيدًا ، فامنحنا على github! يشجعنا على الاستمرار في تحسين النموذج وإضافة ميزات مثيرة. يرجى إبلاغنا بأي أوجه قصور عن طريق القضية.

؟ ترحيب المساهمات

المساهمات دائما موضع ترحيب.

الاستشهادات

 @misc { 2310.19180 ,
Author = { Yao Yao and Peike Li and Boyu Chen and Alex Wang } ,
Title = { JEN-1 Composer: A Unified Framework for High-Fidelity Multi-Track Music Generation } ,
Year = { 2023 } ,
Eprint = { arXiv:2310.19180 } ,
}