KoreanTTS

Корейский

Это проект, который объединяет модель Tacotron2 и модель Vocoder (Griffinlim, Wavenet, Melgan) для реализации корейских TTS.

На основе

• https://github.com/tensorspeech/tensorflowtts

• https://github.com/hccho2/tacotron2-korean-tts

• https://carpedm20.github.io/tacotron/

Набор данных

1. Коран Одиночный спикер речь

   • Профессиональный женский голосовой актер (12 часов, WAV, 44100 кГц, 12853, 3 ГБ)

2. Актер Ю Инна голос

   • Увеличьте объем KBS Radio Yu Inna (3 часа, WAV, 16000 кГц, 3327, 480,6 МБ)
   • Google речь к текстовому API
   • Какао речи API

3. Тренер для домашних животных Kang Hyung -Wook Voice

   • Etri Korean Api оценки

Аудиоданные, проводимые на обучении, не передаются с проблемами авторских прав. Пожалуйста, проверьте каждый источник данных.

• KSS: https://www.kaggle.com/bryanpark/korean-le-peaker-peech-dataset

• Радио KBS: http://program.kbs.co.kr/2fm/radio/uvolum/pc/index.html

Предварительная обработка

1. Преобразовать файл wav в файл Numpy

2. «Audio», «mel», «linear», «text» и т. Д.

3. Data/KSS/＂Voice File name.npz Создание

4. Мель-спектрограмма, линейная спектрограмма Правильный набор ответов

Проект Прогресс

Всего четыре обучения.

1. Tacotron2 + griffinlim + singlespeaker

2. Tacotron2 + griffinlim + multispeaker (Deep Voice 2)

3. Tacotron2 + Melgan + Одиночный динамик

4. Tacotron2 + melgan + multispeaker (Transfer Learning)

результат

1. Tacotron2 + griffinlim + multipeaker (kss + yoo inna)

   • Alignmnet (50000)

   

2. Tacotron2 + griffinlim + multispeaker (kss + yoo in -na)

   • Выравнивание (90000)

   

3. Tacotron2 + melgan + singlespeaker (kss)

   • Выравнивание (90000)