tacotron2 mandarin

我的语音合成最新进展见 Paralleltts。

Paralleltts untuk karya terbaru saya tentang TTS.

---

Tacotron-2 的 Pytorch 实现 ， 见 Tacotron2-pytorch。

Implementasi Pytorch dari Tacotron-2, lihat Tacotron2-Pytorch.

---

tacotron-2-mandarin

Implementasi TensorFlow dari DeepMind's Tacotron-2. Arsitektur jaringan saraf dalam yang dijelaskan dalam makalah ini: sintesis TTS alami dengan mengkondisikan Wavenet pada prediksi Mel spectogram

Struktur repo

 tacotron-2-mandarin-griffin-lim
|--- datasets
|--- logs-Tacotron
     |--- eval-dir
     |--- plots
     |--- taco_pretrained
     |--- wavs
|--- papers
|--- prepare
|--- tacotron
     |--- models
     |--- utils
|--- tacotron_output
     |--- eval
     |--- logs-eval
          |--- plots
          |--- wavs
|--- training_data
     |--- audio
     |--- linear
     |--- mels

Sampel

Ada beberapa sampel sintesis di sini.

Pretrained

Anda bisa mendapatkan model pretrained di sini.

Awal yang cepat

OS: Ubuntu 16.04

Langkah (0) - Repositori Klon Git

 git clone https://github.com/atomicoo/tacotron2-mandarin.git
cd tacotron-2-mandarin-griffin-lim/

Langkah (1) - instal dependensi

1. Pasang Python 3 (Python-3.5.5 untuk saya)

2. Instal TensorFlow (TensorFlow-1.10.0 untuk saya)

3. Instal dependensi lainnya

    pip install -r requirements.txt
   

Langkah (2) - Siapkan Dataset

1. Unduh Dataset Biaobei atau THCHS-30

   Setelah itu, pohon dokumen Anda harus:

    tacotron-2-mandarin-griffin-lim
   |--- ...
   |--- BZNSYP
        |--- ProsodyLabeling
             |--- 000001-010000.txt
        |--- Wave
   |--- ...
   

2. Siapkan dataset (default adalah BIAOBEI )

    python prepare_dataset.py
   

   Jika menyiapkan THCHS-30 , Anda dapat menggunakan parameter --dataset=THCHS-30 .

   Setelah itu, Anda bisa mendapatkan folder BIAOBEI sebagai mengikuti:

    tacotron-2-mandarin-griffin-lim
   |--- ...
   |--- BIAOBEI
        |--- biaobei_48000
   |--- ...
   

3. Dataset preprocess (default adalah BIAOBEI )

    python preprocess.py
   

   Jika Prrprocessing THCHS-30 , Anda dapat menggunakan parameter --dataset=THCHS-30 .

   Setelah itu, Anda bisa mendapatkan folder training_data sebagai mengikuti:

    tacotron-2-mandarin-griffin-lim
   |--- ...
   |--- training_data
        |--- audio
        |--- linear
        |--- mels
        |--- train.txt
   |--- ...
   

Langkah (3) - Latih model tacotron

 python train.py

Lebih banyak parameter, silakan lihat train.py.

Setelah itu, Anda bisa mendapatkan logs-Tacotron folder sebagai berikut:

 tacotron-2-mandarin-griffin-lim
|--- ...
|--- logs-Tacotron
     |--- eval-dir
     |--- plots
     |--- taco_pretrained
     |--- wavs
|--- ...

Langkah (4) - Sintesis audio

 python synthesize.py

Lebih banyak parameter, silakan lihat synthesize.py.

Setelah itu, Anda bisa mendapatkan folder tacotron_output sebagai berikut:

 tacotron-2-mandarin-griffin-lim
|--- ...
|--- tacotron_output
     |--- eval
     |--- logs-eval
          |--- plots
          |--- wavs
|--- ...

Referensi & Sumber Daya

Rayhane-Mamah/Tacotron-2