KoreanTTS

ภาษาเกาหลี

มันเป็นโครงการที่รวมโมเดล Tacotron2 และโมเดล Vocoder (Griffinlim, Wavenet, Melgan) เพื่อใช้ TTS เกาหลี

ขึ้นอยู่กับ

• https://github.com/tensorspeech/tensorflowtts

• https://github.com/hccho2/tacotron2-korean-tts

• https://carpedm20.github.io/tacotron/

ชุดข้อมูล

1. คำปราศรัยของวิทยากรอัลกุรอาน

   • นักแสดงเสียงหญิงมืออาชีพ (12 ชั่วโมง, WAV, 44100kHz, 12853, 3GB)

2. เสียงของนักแสดงยูอินา

   • เพิ่มปริมาตรของ KBS Radio Yu Inna (3 ชั่วโมง, WAV, 16000KHz, 3327, 480.6MB)
   • Google Speech to Text API
   • Kakao Speech API

3. ผู้ฝึกสอนสัตว์เลี้ยงสัตว์เลี้ยงคังฮยอง -เสียงวู๊ด

   • ETRI การประเมิน API ของเกาหลี

ข้อมูลเสียงที่ดำเนินการเกี่ยวกับการเรียนรู้ไม่ได้ถูกแบ่งปันกับปัญหาลิขสิทธิ์ โปรดตรวจสอบแหล่งข้อมูลแต่ละแหล่ง

• KSS: https://www.kaggle.com/bryanpark/korean-le-speaker-speech-dataset

• วิทยุ KBS: http://program.kbs.co.kr/2fm/radio/uvolum/pc/index.html

การประมวลผลล่วงหน้า

1. แปลงไฟล์ wav เป็นไฟล์ numpy

2. 'เสียง', 'mel', 'linear', 'text' ฯลฯ

3. Data/KSS/＂ ชื่อไฟล์เสียงการสร้าง NPZ

4. mel-spectrogram, ชุดคำตอบที่ถูกต้อง

ความคืบหน้าของโครงการ

มีการเรียนรู้ทั้งหมดสี่ครั้ง

1. tacotron2 + griffinlim + singlespeaker

2. Tacotron2 + Griffinlim + Multispeaker (Deep Voice 2)

3. Tacotron2 + Melgan + ลำโพงเดี่ยว

4. Tacotron2 + Melgan + Multispeaker (การเรียนรู้การถ่ายโอน)

ผลลัพธ์

1. tacotron2 + griffinlim + multispeaker (kss + yoo inna) ข้อมูล KSS

   • AlignMnet (50000)

   

2. Tacotron2 + Griffinlim + Multispeaker (KSS + YOO ใน -NA)

   • การจัดตำแหน่ง (90000)

   

3. Tacotron2 + Melgan + Singlespeaker (KSS)

   • การจัดตำแหน่ง (90000)