KoreanTTS

Coréantts

Il s'agit d'un projet qui combine le modèle Tacotron2 et le modèle Vocoder (Griffinlim, Wavenet, Melgan) pour mettre en œuvre des TT coréens.

Basé sur

• https://github.com/tensorspeech/tensorflowtts

• https://github.com/hccho2/tacotron2-korean-tts

• https://carpedm20.github.io/tacotron/

Ensemble de données

1. Discours de conférencier unique Koran

   • Actor de la voix professionnelle (12 heures, Wav, 44100khz, 12853, 3 Go)

2. La voix de l'acteur Yoo Inna

   • Augmentez le volume de KBS Radio Yu Inna (3 heures, Wav, 16000 kHz, 3327, 480,6 Mo)
   • API Google Speech to SMS
   • API de discours Kakao

3. Pet Pet Trainer Kang Hyung - VOIRE

   • API d'évaluation coréenne etri

Les données audio menées sur l'apprentissage ne sont pas partagées avec les problèmes de droit d'auteur. Veuillez vérifier chaque source de données.

• KSS: https://www.kaggle.com/bryanpark/korean-le-speaker-disech-dataset

• KBS Radio: http://program.kbs.co.kr/2fm/radio/uvolum/pc/index.html

Prétraitement

1. Convertir le fichier WAV en un fichier Numpy

2. «Audio», «Mel», «linéaire», «texte», etc.

3. Data / kSS / ＂nom de fichier vocal.NPZ Création

4. Spectrogramme de Mel, ensemble de réponses correct-spectrogramme linéaire

Projet de progrès

Il y a un total de quatre apprentissage.

1. Tacotron2 + Griffinlim + singleSpeaker

2. Tacotron2 + Griffinlim + Multippeaker (voix profonde 2)

3. Tacotron2 + Melgan + Président unique

4. Tacotron2 + Melgan + Multippeaker (apprentissage transfert)

résultat

1. Tacotron2 + Griffinlim + Multippeaker (KSS + YOO INNA) KSS DATA

   • Alignmnet (50000)

   

2. Tacotron2 + Griffinlim + Multippeaker (KSS + Yoo in -na)

   • Alignement (90000)

   

3. Tacotron2 + Melgan + singleSpeaker (KSS)

   • Alignement (90000)