Multi Singer

Multi-Singer: นักร้องเสียงร้องร้องเพลงหลายร้องพร้อมคลังข้อมูลขนาดใหญ่

การใช้งาน Pytorch ของ (ACM MM'21) หลายนักร้อง: เสียงร้องร้องเพลงหลายร้องที่รวดเร็วพร้อมคลังข้อมูลขนาดใหญ่

ความต้องการ

ดูข้อกำหนดในข้อกำหนด. txt:

• ลินเวกซ์
• Python 3.6
• Pytorch 1.0+
• คลังแสง
• JSON, TQDM, เข้าสู่ระบบ

เริ่มต้น

ใช้สูตรสำหรับชุดข้อมูลของคุณเอง

• ใส่ไฟล์ WAV ใด ๆ ใน Data Directory
• แก้ไขการกำหนดค่าใน config/config.yaml

1. pretrain

ใช้จุดตรวจของเราหรือ
นอกจากนี้คุณยังสามารถฝึกอบรมตัวเข้ารหัสด้วยตัวเองที่นี่และตั้งค่า enc_model_fpath ใน config/config.yaml โปรดตั้งค่าพารามิเตอร์เป็นตัวใน encoder/params_data และ encoder/params_model

2. ประมวลผลล่วงหน้า

สารสกัดจาก mel-spectrogram

 python preprocess . py - i data / wavs - o data / feature - c config / config . yaml

-i โฟลเดอร์เสียงของคุณ

-o โฟลเดอร์คุณสมบัติอะคูสติกเอาท์พุท

-c ไฟล์กำหนดค่า

3. รถไฟ

การฝึกอบรมปรับอากาศบน mel-spectrogram

 python train . py - i data / feature - o checkpoints / - - config config / config . yaml

-i โฟลเดอร์ฟีเจอร์อะคูสติก

-o Directory เพื่อบันทึกจุดตรวจ

-c ไฟล์กำหนดค่า

4. การอนุมาน

 python inference . py - i data / feature - o outputs /  - c checkpoints / * . pkl - g config / config . yaml

-i โฟลเดอร์ฟีเจอร์อะคูสติก

-o Directory เพื่อบันทึกคำพูดที่สร้างขึ้น

-c CHECKPOINTS FILE

-c ไฟล์กำหนดค่า

5. การสังเคราะห์เสียงร้องเพลง

สำหรับการสังเคราะห์เสียงร้องเพลง:

• ใช้การแก้ไข FastSpeech 2 สำหรับการสังเคราะห์ mel-spectrogram
• ใช้ mel-spectrogram ที่สังเคราะห์ขึ้นในหลาย-singer สำหรับการสังเคราะห์รูปคลื่น

ด่าน

ได้รับการฝึกฝนเกี่ยวกับ opensinger

กิตติกรรมประกาศ

GE2E
Fastspeech 2
Wavegan คู่ขนาน

การอ้างอิง

 @inproceedings{huang2021multi,
  title={Multi-Singer: Fast Multi-Singer Singing Voice Vocoder With A Large-Scale Corpus},
  author={Huang, Rongjie and Chen, Feiyang and Ren, Yi and Liu, Jinglin and Cui, Chenye and Zhao, Zhou},
  booktitle={Proceedings of the 29th ACM International Conference on Multimedia},
  pages={3945--3954},
  year={2021}
}

คำถาม

อย่าลังเลที่จะติดต่อฉันที่ [email protected]