ZeroSpeech TTS without T

ZerOspeech 2019: TTS sans t - pytorch

• Il s'agit du code source d'origine pour le document "Apprentissage de bout en bout non supervisé des unités linguistiques discrètes pour la conversion vocale", qui est acceptée par IntereSpeech 2019.
• De plus, nous avons utilisé cette implémentation pour rivaliser dans le défi Zerospeech 2019. Dans le classement surprise de l'ensemble de données, la méthode proposée est 2 ^e place en termes de débit binaire bas , tout en obtenant un score d'opinion moyen plus élevé (MOS) et un CER inférieur que l'équipe 1 ^St Place .
• N'hésitez pas à les utiliser ou à les modifier, tout rapport de bogue ou suggestion d'amélioration sera apprécié. Si vous avez des questions, veuillez contacter [email protected]. Si vous trouvez ce projet utile pour vos recherches, veuillez considérer pour citer ce document, merci!

Démarrage rapide

Installation

• Clone This Repo: git clone [email protected]:andi611/ZeroSpeech-TTS-without-T.git
• CD dans ce repo: cd ZeroSpeech-TTS-without-T

Installation des dépendances

1. Installez Python 3.

2. Installez la dernière version de Pytorch selon votre plateforme. Pour de meilleures performances, installez avec GPU Support (CUDA) si viable. Ce code fonctionne avec Pytorch 0.4 et plus tard.

Préparer les données

1. Téléchargez l'ensemble de données Zerospeech.

   • L'ensemble de données anglais:

    wget https://download.zerospeech.com/2019/english.tgz
   tar xvfz english.tgz -C data
   rm -f english.tgz
   

   • L'ensemble de données surprise:

    wget https://download.zerospeech.com/2019/surprise.zip
   # Go to https://download.zerospeech.com  and accept the licence agreement 
   # to get the password protecting the archive
   unzip surprise.zip -d data
   rm -f surprise.zip
   

2. Après avoir déballé l'ensemble de données dans ~/ZeroSpeech-TTS-without-T/data , l'arbre de données devrait ressembler à ceci:

    |- ZeroSpeech-TTS-without-T
   	 |- data
   		 |- english
   			 |- train
   			 	|- unit
   			 	|- voice
   			 |- test
   		|- surprise
   			 |- train
   			 	|- unit
   			 	|- voice
   			 |- test
   

3. Prétraitez l'ensemble de données et les exemples de fichiers d'index prêts pour le modèle:

    python3 main.py --preprocess —-remake
   

Usage

Entraînement

1. Train Modèle ASR-TTS Autoencoder pour la découverte des unités linguistiques discrètes:

    python3 main.py --train_ae
   

   Des hyperparamètres accordables peuvent être trouvés dans HPS / ZerOspeech.json. Vous pouvez ajuster ces paramètres et définir en modifiant le fichier, les hyperparamètres par défaut sont recommandés pour ce projet.

2. Train TTS Patcher pour les performances de conversion vocale Boosting:

    python3 main.py --train_p --load_model --load_train_model_name=model.pth-ae-400000
   

3. Train TTS Patcher avec formation adversaire guidée cible:

    python3 main.py --train_tgat --load_model --load_train_model_name=model.pth-ae-400000
   

4. Moniteur avec Tensorboard (facultatif)

    tensorboard --logdir='path to log dir'
   or
   python3 -m tensorboard.main --logdir='path to log dir'
   

Essai

1. Tester sur un seul discours ::

    python3 main.py --test_single --load_test_model_name=model.pth-ae-200000
   

2. Tester sur «synthèse.txt» et générer des fichiers audio de resynthèse ::

    python3 main.py --test --load_test_model_name=model.pth-ae-200000
   

3. Tester sur tous les discours de test sous test/ et générer des fichiers d'encodage ::

    python3 main.py --test_encode --load_test_model_name=model.pth-ae-200000
   

4. Add --enc_only si tester avec ASR-TTS Autoencoder uniquement:

    python3 main.py --test_single --load_test_model_name=model.pth-ae-200000 --enc_only
   python3 main.py --test --load_test_model_name=model.pth-ae-200000 --enc_only
   python3 main.py --test_encode --load_test_model_name=model.pth-ae-200000 --enc_only
   

Commutation entre les ensembles de données

1. Utilisez simplement --dataset=surprise pour passer à l'ensemble alternatif par défaut, tous les chemins sont gérés automatiquement si la structure de l'arborescence de données est placée comme suggéré. Par exemple:

    python3 main.py --train_ae --dataset=surprise
   

Modèles formés

1. Nous fournissons des modèles qualifiés en tant que fichiers CKPT, lien DonWload: bit.ly/zerospeech2019-liu
2. Recharger le modèle de formation:

    --load_train_model_name=model.pth-ae-400000-128-multi-1024-english
   

   ( --ckpt_dir=./ckpt_english ou --ckpt_dir=./ckpt_surprise par défaut).
3. 2 façons de charger le modèle pour les tests:

    --load_test_model_name=model.pth-ae-400000-128-multi-1024-english (by name)
   --ckpt_pth=ckpt/model.pth-ae-400000-128-multi-1024-english (direct path)
   

4. Se soucient que HPS / ZerOspeech.json doit être défini en conséquence sur le modèle que vous chargez. Si un modèle 128-multi-1024 est en cours de charge, seg_len et enc_size doivent être définis sur 128 et 1024, respectivement. Si un modèle ae est en cours de charge, l'argument --enc_only doit être utilisé lors de l'exécution main.py (voir 4. Dans la section de test).

Notes

• Ce code comprend tous les paramètres et méthodes que nous avons testés pour ce défi, dont certains ne se sont pas poursuivis, mais nous ne les avons pas supprimés de notre code. Cependant, les instructions et les paramètres par défaut précédents concernent la méthode que nous avons proposée. En les exécutant, on peut facilement reproduire nos résultats.
• TODO: Télécharger les modèles pré-formés

Citation

 @article{Liu_2019,
   title={Unsupervised End-to-End Learning of Discrete Linguistic Units for Voice Conversion},
   url={http://dx.doi.org/10.21437/interspeech.2019-2048},
   DOI={10.21437/interspeech.2019-2048},
   journal={Interspeech 2019},
   publisher={ISCA},
   author={Liu, Andy T. and Hsu, Po-chun and Lee, Hung-Yi},
   year={2019},
   month={Sep}
}