tacotron2 mandarin

我的语音合成最新进展见ขนาน。

ไปขนานสำหรับผลงานล่าสุดของ TTS

---

tacotron-2 的 pytorch 实现， 见 tacotron2-pytorch 。

การใช้งาน Pytorch ของ Tacotron-2, ดู Tacotron22-Pytorch

---

Tacotron-2-Mandarin

การใช้ Tensorflow ของ Tacotron-2 ของ DeepMind สถาปัตยกรรมเครือข่ายประสาทลึกที่อธิบายไว้ในบทความนี้: การสังเคราะห์ TTS ธรรมชาติโดยการปรับสภาพ wavenet บนการทำนาย mel spectogram

โครงสร้าง repo

 tacotron-2-mandarin-griffin-lim
|--- datasets
|--- logs-Tacotron
     |--- eval-dir
     |--- plots
     |--- taco_pretrained
     |--- wavs
|--- papers
|--- prepare
|--- tacotron
     |--- models
     |--- utils
|--- tacotron_output
     |--- eval
     |--- logs-eval
          |--- plots
          |--- wavs
|--- training_data
     |--- audio
     |--- linear
     |--- mels

ตัวอย่าง

มีตัวอย่างการสังเคราะห์อยู่ที่นี่

ที่ได้ก่อน

คุณสามารถรับแบบจำลองที่ได้รับการฝึกฝนได้ที่นี่

เริ่มต้นอย่างรวดเร็ว

OS: Ubuntu 16.04

ขั้นตอน (0) - ที่เก็บโคลน Git

 git clone https://github.com/atomicoo/tacotron2-mandarin.git
cd tacotron-2-mandarin-griffin-lim/

ขั้นตอน (1) - ติดตั้งการพึ่งพา

1. ติดตั้ง Python 3 (Python-3.5.5 สำหรับฉัน)

2. ติดตั้ง tensorflow (tensorflow-1.10.0 สำหรับฉัน)

3. ติดตั้งการอ้างอิงอื่น ๆ

    pip install -r requirements.txt
   

ขั้นตอน (2) - เตรียมชุดข้อมูล

1. ดาวน์โหลดชุดข้อมูล biaobei หรือ thchs-30

   หลังจากนั้นต้นไม้เอกสารของคุณควรเป็น:

    tacotron-2-mandarin-griffin-lim
   |--- ...
   |--- BZNSYP
        |--- ProsodyLabeling
             |--- 000001-010000.txt
        |--- Wave
   |--- ...
   

2. เตรียมชุดข้อมูล (ค่าเริ่มต้นคือ BIAOBEI )

    python prepare_dataset.py
   

   หากเตรียม THCHS-30 คุณสามารถใช้พารามิเตอร์ --dataset=THCHS-30

   หลังจากนั้นคุณจะได้รับโฟลเดอร์ BIAOBEI ดังนี้:

    tacotron-2-mandarin-griffin-lim
   |--- ...
   |--- BIAOBEI
        |--- biaobei_48000
   |--- ...
   

3. ชุดข้อมูลประมวลผลล่วงหน้า (ค่าเริ่มต้นคือ BIAOBEI )

    python preprocess.py
   

   หาก prrprocessing THCHS-30 คุณสามารถใช้พารามิเตอร์ --dataset=THCHS-30

   หลังจากนั้นคุณจะได้รับ training_data โฟลเดอร์ _data ดังนี้:

    tacotron-2-mandarin-griffin-lim
   |--- ...
   |--- training_data
        |--- audio
        |--- linear
        |--- mels
        |--- train.txt
   |--- ...
   

ขั้นตอน (3) - โมเดลทาโคทรอนรถไฟ

 python train.py

พารามิเตอร์เพิ่มเติมโปรดดู Train.py

หลังจากนั้นคุณสามารถรับ logs-Tacotron ดังต่อไปนี้:

 tacotron-2-mandarin-griffin-lim
|--- ...
|--- logs-Tacotron
     |--- eval-dir
     |--- plots
     |--- taco_pretrained
     |--- wavs
|--- ...

ขั้นตอน (4) - สังเคราะห์เสียง

 python synthesize.py

พารามิเตอร์เพิ่มเติมโปรดดู synthesize.py

หลังจากนั้นคุณสามารถรับโฟลเดอร์ tacotron_output ได้ดังนี้:

 tacotron-2-mandarin-griffin-lim
|--- ...
|--- tacotron_output
     |--- eval
     |--- logs-eval
          |--- plots
          |--- wavs
|--- ...

ข้อมูลอ้างอิงและทรัพยากร

Rayhane-Mamah/Tacotron-2