CTTS

Frontend TTS Kanton

Teks Kanton/Cina untuk Pidato Berdasarkan Sintesis Pidato Parametrik Statistik Menggunakan Merlin Toolkit

Proyek ini dipengaruhi oleh MTTS

Cara mereproduksi

1. Pertama, Anda memerlukan data berisi WAV dan TXT (tanda prosodi adalah opsional)
2. Kedua, menghasilkan label HTS menggunakan proyek ini
3. Menggunakan Merlin/EGS/Cantonese_voice untuk melatih dan menghasilkan suara Kanton

Konteks Anotasi Terkait & Set Pertanyaan

• Anotasi terkait konteks
• Set pertanyaan
• Aturan untuk merancang satu set pertanyaan

Memasang

Python: Python3.6
Sistem: Linux (Diuji pada Ubuntu16.04)

 sudo apt-get install libatlas3-base

Jalankan bash tools/install_mtts.sh
Atau unduh file sendiri

• Unduh Montreal-Forced-Aligner dan Unzip ke Directory Tools/

Jalankan demo

 bash run_demo.sh

Penggunaan

1. Hasilkan Label HTS dengan WAV dan Teks

• Penggunaan: Jalankan python src/mtts.py txtfile wav_directory_path output_directory_path (jalur absolut atau jalur relatif) maka Anda akan mendapatkan label hts, jika Anda memiliki model akustik yang dilatih oleh -a your_acoustic_model.zip . bawaan
• Perhatian: Saat ini hanya mendukung karakter Cina, txt tidak boleh memiliki nomor Arab atau alfabet Inggris

Contoh txtfile

 A_01 这是一段文本
A_02 这是第二段文本

Contoh wav_directory (laju sampel harus lebih besar dari 16kHz)

 A_01.wav  
A_02.wav  

2. Hasilkan Label HTS dengan teks dengan atau tanpa file penyelarasan

• Penggunaan: Jalankan python src/mandarin_frontend.py txtfile output_directory_path
• atau impor mandarin_frontend

 from mandarin_frontend import txt2label

result = txt2label('向香港特别行政区同胞澳门和台湾同胞海外侨胞')
[print(line) for line in result]

Lihat Kode Sumber Untuk informasi lebih lanjut, tetapi perhatikan file Alignment (file SFS), formatnya adalah endtime phone_type not start_time, phone_type (yang berbeda dari data ucapan laut)

3. Penyelarasan paksa

Proyek ini menggunakan Montreal-Forced-Aligner untuk melakukan penyelarasan paksa, jika Anda ingin mendapatkan penyelarasan yang lebih baik, gunakan data Anda untuk melatih model penyelarasan, lihat MFA: Algin-using-only-the-Dataset

1. Kami melatih model akustik pada dataset kami.

Tanda prosodi

Anda dapat menghasilkan label HTS tanpa tanda prosodi. Kami berasumsi bahwa segmen kata lebih kecil dari kata prosodik (yang disesuaikan dalam kode)

Perbaikan yang harus dilakukan di masa depan

• Normalisasi teks
• Segmen Kata Cina yang Lebih Baik
• G2P: Masalah Polyphone
• Format label yang lebih baik dan set pertanyaan
• Peningkatan analisis prosodi
• Penyelarasan yang lebih baik

Penyumbang

• MIRAN899