KoreanTTS

Coreanstts

Es un proyecto que combina el modelo Tacotron2 y el modelo Vocoder (Griffinlim, Wavenet, Melgan) para implementar TTS coreanos.

Residencia en

• https://github.com/tensorspeech/tensorflowtts

• https://github.com/hccho2/tacotron2-korean-tts

• https://carpedm20.github.io/tacotron/

Conjunto de datos

1. Discurso de orador único de Corán

   • Actor de voz femenina profesional (12 horas, WAV, 44100kHz, 12853, 3GB)

2. Voz del actor Yoo Inna

   • Aumente el volumen de KBS Radio Yu Inna (3 horas, WAV, 16000KHz, 3327, 480.6MB)
   • Discurso de Google a la API de texto
   • Kakao Speech API

3. Entrenador de mascotas Kang Hyung -wook Voice

   • API de evaluación coreana de ETRI

Los datos de audio realizados en el aprendizaje no se comparten con problemas de derechos de autor. Verifique cada fuente de datos.

• KSS: https://www.kaggle.com/bryanpark/korean-le-peaker-sepeech-dataset

• Radio KBS: http://program.kbs.co.kr/2fm/radio/uvolum/pc/index.html

Preprocesamiento

1. Convertir el archivo wav en un archivo numpy

2. 'Audio', 'mel', 'lineal', 'texto', etc.

3. Data/kss/＂nombre de archivo de voz.npz creación

4. Espectrograma MEL, espectrograma lineal Conjunto de respuestas correctas

Progreso del proyecto

Hay un total de cuatro aprendizaje.

1. Tacotron2 + griffinlim + sencillo

2. Tacotron2 + griffinlim + multiespeaker (voz profunda 2)

3. Tacotron2 + Melgan + altavoz único

4. Tacotron2 + Melgan + Multispeaker (Transfer Learning)

resultado

1. Tacotron2 + griffinlim + multiespeaker (kss + yoo inna) datos KSS

   • AlignMnet (50000)

   

2. Tacotron2 + griffinlim + multiespeaker (kss + yoo en -na)

   • Alineación (90000)

   

3. Tacotron2 + Melgan + SingleSpeaker (KSS)

   • Alineación (90000)