KoreanTTS

Cor da Corentts

É um projeto que combina o modelo Tacotron2 e o modelo de vocoder (Griffinlim, Wavenet, Melgan) para implementar o TTS coreano.

Baseado em

• https://github.com/tensorspeech/tensorflowtts

• https://github.com/hccho2/tacotron2-korean-tts

• https://carpedm20.github.io/tacotron/

Conjunto de dados

1. Discurso de alto -falante do Alcorão

   • Feminina de dublador profissional (12 horas, WAV, 44100KHz, 12853, 3 GB)

2. Voz do ator Yoo Inna

   • Aumente o volume da KBS Radio Yu Inna (3 horas, WAV, 16000KHz, 3327, 480,6MB)
   • API do Discurso para Texto do Google
   • API de fala de Kakao

3. Pet Pet Trainer Kang Hyung -wok Voice

   • API de avaliação coreana ETRI

Os dados de áudio realizados sobre aprendizado não são compartilhados com problemas de direitos autorais. Verifique cada fonte de dados.

• KSS: https://www.kaggle.com/bryanpark/korean-le-speaker-peath-dataset

• Rádio KBS: http://program.kbs.co.kr/2fm/radio/uvolum/pc/index.html

Pré -processamento

1. Converta o arquivo WAV em um arquivo Numpy

2. 'Audio', 'Mel', 'Linear', 'Text', etc.

3. Data/KSS/＂Nome do arquivo de voz.npz criação

4. MEL-Spectrograma, Conjunto de respostas corretas de espectrograma linear

Progresso do projeto

Há um total de quatro aprendizado.

1. Tacotron2 + griffinlim + singlespeaker

2. Tacotron2 + Griffinlim + MultisSpeaker (Voz Deep 2)

3. Tacotron2 + melgan + alto -falante

4. Tacotron2 + Melgan + Multisispaker (Learning de Transferência)

resultado

1. Tacotron2 + Griffinlim + MultisSpeaker (KSS + Yoo Inna) Dados KSS

   • AlignMnet (50000)

   

2. Tacotron2 + Griffinlim + MultisSpeaker (KSS + Yoo em -na)

   • Alinhamento (90000)

   

3. Tacotron2 + Melgan + Singlespeaker (KSS)

   • Alinhamento (90000)