KoreanTTS

Koreantts

Es ist ein Projekt, das das Tacotron2 -Modell und das Vocoder -Modell (Griffinlim, Wavenet, Melgan) kombiniert, um koreanische TTs zu implementieren.

Bezogen auf

• https://github.com/tensorspeech/tensorflowtts

• https://github.com/hccho2/tacotron2-korean-tts

• https://carpedm20.github.io/tacotron/

Datensatz

1. Koran Single Speaker Rede

   • Professioneller Schauspielerinnen (12 Stunden, WAV, 44100 kHz, 12853, 3 GB)

2. Schauspieler Yoo Innas Stimme

   • Erhöhen Sie das Volumen der KBS -Radio -Yu -Inna (3 Stunden, WAV, 16000 kHz, 3327, 480,6 MB)
   • Google Speech in Text API
   • Kakao Sprechapi

3. Haustiertrainer Kang Hyung -Wook Stimme

   • ETRI Koreanische Bewertung API

Audiodaten zum Lernen werden nicht mit Urheberrechtsfragen geteilt. Bitte überprüfen Sie jede Datenquelle.

• KSS: https://www.kaggle.com/bryanpark/korean-lespeaker-speech-dataset

• KBS Radio: http://program.kbs.co.kr/2fm/radio/uvolum/pc/index.html

Vorverarbeitung

1. Konvertieren Sie die WAV -Datei in eine Numpy -Datei

2. 'Audio', 'Mel', 'linear', 'Text', usw.

3. Daten/KSS/＂Sprachdateiname.npz Erstellung

4. Melspektogramm, linearspektrogramm richtiger Antwortsatz

Projektfortschritt

Es gibt insgesamt vier Lernen.

1. Tacotron2 + Griffinlim + Singlespeaker

2. Tacotron2 + Griffinlim + Multispeaker (Deep Voice 2)

3. Tacotron2 + Melgan + Einzellautsprecher

4. Tacotron2 + Melgan + Multispeaker (Transfer Learning)

Ergebnis

1. Tacotron2 + Griffinlim + Multispeaker (KSS + Yoo Inna) KSS -Daten

   • Alignmnet (50000)

   

2. Tacotron2 + Griffinlim + Multispeaker (KSS + Yoo in -na)

   • Ausrichtung (90000)

   

3. Tacotron2 + Melgan + Singlespeaker (KSS)

   • Ausrichtung (90000)