Robust_Fine_Grained_Prosody_Control

Robuste und feinkörnige Prosodiekontrolle der End-to-End-Sprachsynthese (mit Wellenlow)

Pytorch-Implementierung einer robusten und feinkörnigen Prosodiekontrolle der End-to-End-Sprachsynthese (inoffiziell)

Diese Implementierung verwendet den Libritts -Datensatz.

Notizen

1. Dev Zweig: Tacotron2 mit Multispeaker (Lautsprechereinbettung). Sprecherinformationen werden nur vom Decodermodul konsumiert, und das Aufmerksamkeitsmodul sieht keine davon (als Absicht der Autoren).
2. Text_side Branch: Implementierung des Text-Seiten-Prosodie-Steuermodells.
3. Sprach-Seite-Prosodie-Steuerung und Prosody-Normalisierung werden in der aktuellen Version nicht implementiert, aber Sie können sie einfach oben in den oben genannten Zweigen hinzufügen.

Voraussetzungen

1. Nvidia gpu + cuda cudnn

Aufstellen

1. Laden Sie den Libritts -Datensatz herunter und extrahieren Sie
2. Klonen Sie dieses Repo: git clone https://github.com/keonlee9420/Robust_Fine_Grained_Prosody_Control.git
3. CD in dieses Repo: cd Robust_Fine_Grained_Prosody_Control
4. Submodul initialisieren: git submodule init; git submodule update
5. Update .wav-Pfade: sed -i -- 's,/home/keon/speech-datasets/LibriTTS_preprocessed/train-clean-100/,your_libritts_dataset_folder/,g' filelists/*.txt
   • Alternativ laden Sie load_mel_from_disk=True in hparams.py ein und aktualisieren Sie die Melspektrogrammpfade
6. Installieren Sie Pytorch 1.0
7. Apex installieren
8. Installieren Sie die Python -Anforderungen oder erstellen Sie das Docker -Bild
   • Installieren Sie die Python -Anforderungen: pip install -r requirements.txt

Ausbildung

1. python train.py --output_directory=outdir --log_directory=logdir
2. (Optional) tensorboard --logdir=outdir/logdir

Training mit einem vorgebildeten Modell

(TBD)

Multi-GPU (verteilt) und automatisches Training mit gemischter Präzision

1. In der aktuellen Implementierung nicht unterstützt.

Schlussfolgerung

1. Einzelprobe: python inference.py -c checkpoint/path -r reference_audio/wav/path -t "synthesize text"
2. Multi -Beispiele: python inference_all.py -c checkpoint/path -r reference_audios/dir/path

NB bei der Durchführung von Melspektrogrammen zur Audio-Synthese stellen Sie sicher, dass Tacotron 2 und der MEL-Decoder auf derselben Melspektrogram-Darstellung trainiert wurden.

Zitat

 @misc{lee2021robust_fine_grained_prosody_control,
  author = {Lee, Keon},
  title = {Robust_Fine_Grained_Prosody_Control},
  year = {2021},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/keonlee9420/Robust_Fine_Grained_Prosody_Control}}
}

Verwandte Repos

Wellenlow schneller als in Echtzeit flow-basierte generative Netzwerk für die Sprachsynthese

NV-Wavenet schneller als Echtzeit-Wellenet.

Anerkennung

Diese Implementierung verwendet Code aus den folgenden Repos: Nvidia/Tacotron-2, Kinglittleq/GST-Tacotron

Wir danken den Papierautoren, besonders Younggun Lee, und Taesu Kim.