Robust_Fine_Grained_Prosody_Control

Kontrol prosodi yang kuat dan berbutir halus dari sintesis ucapan ujung ke ujung (dengan Waveglow)

Pytorch Implementasi kontrol prosodi yang kuat dan berbutir halus dari sintesis ucapan ujung ke ujung (tidak resmi)

Implementasi ini menggunakan dataset Libitts.

Catatan

1. Cabang dev : Tacotron2 dengan multispeaker (embedding speaker). Informasi pembicara hanya dikonsumsi oleh modul decoder, dan modul perhatian tidak melihatnya (sebagai niat penulis).
2. Cabang Text_Side : Implementasi Model Kontrol Prosodi Sisi Teks.
3. Kontrol prosodi sisi bicara dan normalisasi prosodi tidak diimplementasikan dalam versi saat ini, tetapi Anda dapat menambahkannya di atas cabang di atas.

Prasyarat

1. Nvidia gpu + cuda cudnn

Pengaturan

1. Unduh dan Ekstrak Dataset Libritts
2. Klon repo ini: git clone https://github.com/keonlee9420/Robust_Fine_Grained_Prosody_Control.git
3. CD ke repo ini: cd Robust_Fine_Grained_Prosody_Control
4. Inisialisasi Submodule: git submodule init; git submodule update
5. UPDATE .WAV Paths: sed -i -- 's,/home/keon/speech-datasets/LibriTTS_preprocessed/train-clean-100/,your_libritts_dataset_folder/,g' filelists/*.txt
   • Atau, atur load_mel_from_disk=True di hparams.py dan perbarui jalur Mel-Spectrogram
6. Instal Pytorch 1.0
7. Instal Apex
8. Instal Persyaratan Python atau Bangun Gambar Docker
   • Instal Persyaratan Python: pip install -r requirements.txt

Pelatihan

1. python train.py --output_directory=outdir --log_directory=logdir
2. (Opsional) tensorboard --logdir=outdir/logdir

Berlatih menggunakan model pra-terlatih

(TBD)

Multi-GPU (terdistribusi) dan pelatihan presisi campuran otomatis

1. Tidak didukung dalam implementasi saat ini.

Kesimpulan

1. Sampel tunggal: python inference.py -c checkpoint/path -r reference_audio/wav/path -t "synthesize text"
2. Multi Sampel: python inference_all.py -c checkpoint/path -r reference_audios/dir/path

NB Saat melakukan Mel-spectrogram ke sintesis audio, pastikan Tacotron 2 dan Decoder Mel dilatih pada representasi Mel-spectrogram yang sama.

Kutipan

 @misc{lee2021robust_fine_grained_prosody_control,
  author = {Lee, Keon},
  title = {Robust_Fine_Grained_Prosody_Control},
  year = {2021},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/keonlee9420/Robust_Fine_Grained_Prosody_Control}}
}

Repo terkait

Waveglow lebih cepat dari jaringan generatif berbasis aliran waktu nyata untuk sintesis ucapan

NV-Wavenet lebih cepat dari Wavenet waktu nyata.

Ucapan Terima Kasih

Implementasi ini menggunakan kode dari repo berikut: NVIDIA/TACOTRON-2, KingLittleQ/GST-Tacotron

Kami berterima kasih kepada penulis kertas, khususnya Youngun Lee, dan Taesu Kim.