End to End TTS Fine Tune

TTS de bout en bout

Introduction

• Ce projet vise à développer le système TTS de « AI ASSISTANT pour les seniors ». Vous pouvez créer un assistant d'intelligence artificielle avec la voix de la famille ou des amis et des amoureux avec seulement 5 minutes d'enregistrement vocal.
• Afin de faire face au haut-parleur AI qui nécessite une génération en temps réel, nous avons adopté le modèle acoustique non autorégressif FastSpe2 et le modèle vocodeur basé sur le GAN HIFI-AG pour considérer la qualité et la vitesse de production.
• Des douanes supplémentaires ont été réalisées pour améliorer les performances du multi-haut-parleurs.
• Ce référentiel est configuré pour simplement effectuer le processus d'apprentissage et de création en utilisant le script shell pour configurer le Vector Multi haut-parleur D-Vector FastSpeech2 et les modèles HIFI-AG pour leur permettre de pouvoir des amendes.
• Pour fournir des TTS réels dans l'application, utilisez FastAPI pour configurer le serveur et lier le backend.

Objectif du projet

1. Acoustique-fastSpeech2 (coutume)

2. Performance raisonnable en utilisant l'apprentissage du transfert pour la personnalisation avec de petites quantités de données

3. Fournir des API qui peuvent être créées avec des amendes dans les ensembles de données coréens en temps réel

Ensemble de données

• Selon le fine_tune_transcript.txt qui appartient au dossier de l'ensemble de données, enregistrez 100 phrases avec le numéro avec un smartphone et convertissez le fichier M4A en un fichier WAV avec un taux d'échantillonnage de 16000. (FFMPEG)

• Comme le montre la figure, 100 fichiers WAV convertis sont ajoutés à votre dossier initial.

Contribution

1. Modification du code du modèle Selon Fine-tune

   • Modification et intégration FastSpeech2 et Hifi-Gan
   • L'ensemble de données, le CKPT et le répertoire des résultats sont divisés en répertoire de niveau supérieur par ensemble de données

2. Prétraitement facile, train, synthèse à travers le script shell

   • En modifiant le répertoire de l'ensemble de données

3. Fournir une image Docker unique

   • Fournir des images qui peuvent être effectuées immédiatement sans ajouter des packages de dépendance supplémentaires complexes
   • Importez la dernière image via le lien Docker Hub

Œuvres prévues

• Il correspond au nom de fichier de FastSpeech2 et HIFI-AG pré-formé CKPT et le conserve dans chaque modèle.

  (FastSpeech2: 30 000 étapes Apprentissage / Hifi -Gan -Jungil King's Official Preted-University -University)

• Pour l'apprentissage et la synthèse, nous chargeons et exécutons des images Docker qui contiennent tous les packages dépendants.

   docker pull hws0120/e2e_speech_synthesis 
  

• Run_fs2_preprocessing.sh Les étapes sont connectées à Docker avec une commande conda et installe le package Python Jamo.

   conda activate aligner
  pip install jamo
  

• Fin de l'environnement virtuel pour effectuer RUN_FS2_TRAIN ou Synthesis.

   conda activate base
  

Prétraitement

• Si vous rencontrez tous les éléments ci-dessus, exécutez le script shell pour extraire le MFA.

   sh run_FS2_preprocessing.sh
  # Enter the dataset name
  [Dataset_Name](ex. HW)
  

  
  

Former

• Crée avec succès un TextGrid pour quitter l'environnement virtuel et exécuter le script d'apprentissage.

   sh run_FS2_train.sh
  # Enter the dataset name
  [Dataset_Name](ex. HW)
  

• Lorsque l'apprentissage FastSpeech2 5000 étape est terminé, exécutez le script HIFI-AG.

   sh run_HiFi-GAN_train.sh
  # Enter the dataset name
  [Dataset_Name](ex. HW)
  

  
  

Synthétiser

• Lorsqu'un modèle appris dans le dossier CKPT est prêt, exécutez un script pour la synthèse.

   sh run_FS2_synthesize.sh
  # Enter the dataset name
  [Dataset_Name](ex. HW)
  

Pipeline de projets

Chaque conteneur est établi dans le processus d'apprentissage et de synthèse et le processus comme indiqué.

Si vous avez un point de contrôle HIFI-GAN approprié, vous pouvez omettre l'apprentissage de Hifi-Gan.