KoreanTTS

Koreantts

Ini adalah proyek yang menggabungkan model Tacotron2 dan model Vocoder (Griffinlim, Wavenet, Melgan) untuk mengimplementasikan TT Korea.

Berdasarkan

• https://github.com/tensorspeech/tensorflowtts

• https://github.com/hccho2/tacotron2-korean-tts

• https://carpedm20.github.io/tacotron/

Dataset

1. Pidato pembicara tunggal Alquran

   • Aktor Suara Wanita Profesional (12 jam, WAV, 44100KHz, 12853, 3GB)

2. Suara Aktor Yoo Inna

   • Tingkatkan volume KBS Radio Yu Inna (3 jam, WAV, 16000KHz, 3327, 480.6MB)
   • Google Speech to Text API
   • API Pidato Kakao

3. Pelatih Pet Pet Kang Hyung -wook Voice

   • API Penilaian Korea ETRI

Data audio yang dilakukan pada pembelajaran tidak dibagikan dengan masalah hak cipta. Silakan periksa setiap sumber data.

• KSS: https://www.kaggle.com/bryanpark/korean-le-sheat-sheech-dataset

• KBS Radio: http://program.kbs.co.kr/2fm/radio/uvolum/pc/index.html

Preprocessing

1. Konversi file WAV ke file numpy

2. 'Audio', 'Mel', 'Linear', 'Text', dll.

3. Data/KSS/＂Nama file suara.npz Creation

4. Mel-spectrogram, set-spectrogram linear set jawaban yang benar

Kemajuan Proyek

Ada total empat pembelajaran.

1. Tacotron2 + Griffinlim + SinglesPeaker

2. TACOTRON2 + GRIFFINLIM + MULTISPEAKER (suara Deep 2)

3. Tacotron2 + Melgan + Speaker Tunggal

4. TACOTRON2 + Melgan + Multispeaker (Pembelajaran Transfer)

hasil

1. Tacotron2 + Griffinlim + Data Multispispeaker (KSS + Yoo Inna) KSS

   • AlignMnet (50000)

   

2. TACOTRON2 + GRIFFINLIM + MULTISPEAKER (KSS + YOO IN -NA)

   • Alignment (90000)

   

3. Tacotron2 + Melgan + SinglesPeaker (KSS)

   • Alignment (90000)