Multi Singer

Multi-Singer: Vokoder suara bernyanyi multi-penyanyi cepat dengan korpus skala besar

Implementasi PyTorch dari (ACM MM'21) Multi-Singer: Vocoder suara bernyanyi multi-penyanyi cepat dengan korpus skala besar.

Persyaratan

Lihat persyaratan di persyaratan.txt:

• Linux
• Python 3.6
• Pytorch 1.0+
• librosa
• JSON, TQDM, LOGGING

Memulai

Terapkan resep ke dataset Anda sendiri

• Letakkan file WAV di direktori data
• Edit konfigurasi di config/config.yaml

1. Pretrain

Gunakan pos pemeriksaan kami, atau
Anda juga dapat melatih encoder sendiri di sini, dan mengatur enc_model_fpath di config/config.yaml. Harap atur params sebagai yang ada di encoder/params_data dan encoder/params_model .

2. Preprocess

Ekstrak Mel-Spectrogram

 python preprocess . py - i data / wavs - o data / feature - c config / config . yaml

-i folder audio Anda

-o output folder fitur akustik

-c file konfigurasi

3. Kereta

Pelatihan dikondisikan pada Mel-Spectrogram

 python train . py - i data / feature - o checkpoints / - - config config / config . yaml

-i folder fitur akustik

-o direktori untuk menyimpan pos pemeriksaan

-c file konfigurasi

4. Inferensi

 python inference . py - i data / feature - o outputs /  - c checkpoints / * . pkl - g config / config . yaml

-i folder fitur akustik

-o direktori untuk menyimpan pidato yang dihasilkan

-c file pos pemeriksaan

-c file konfigurasi

5. Sintesis Suara Bernyanyi

Untuk menyanyikan sintesis suara:

• Ambil FastSpeech 2 yang dimodifikasi untuk sintesis Mel-Spectrogram
• Gunakan Sintesis Mel-Spectrogram dalam multi-penyanyi untuk sintesis bentuk gelombang.

Pos pemeriksaan

Dilatih di OpenSinger

Ucapan Terima Kasih

Ge2e
Fastspeech 2
Paralel Wavegan

Kutipan

 @inproceedings{huang2021multi,
  title={Multi-Singer: Fast Multi-Singer Singing Voice Vocoder With A Large-Scale Corpus},
  author={Huang, Rongjie and Chen, Feiyang and Ren, Yi and Liu, Jinglin and Cui, Chenye and Zhao, Zhou},
  booktitle={Proceedings of the 29th ACM International Conference on Multimedia},
  pages={3945--3954},
  year={2021}
}

Pertanyaan

Jangan ragu untuk menghubungi saya di [email protected]