Unduh MTTS - Unduh Kode Sumber MTTS

MTTS

Kode Sumber AI

1.0.0

Unduh

Proyek ini telah dihentikan dan cukup tua

menyarankan:

https://github.com/paddlepaddle/paddlespeech/tree/develop/paddlespeech/t2s/frontend
https://github.com/thuhcsi/crystal

Selamat datang untuk bergabung

Komunikasi Sintesis Suara Grup QQ: 882726654

Demo MTTS Mandarin/Teks Cina ke Frontend Pidato

Teks Mandarin/Cina untuk Pidato Berdasarkan Sintesis Pidato Parameter Statistik Menggunakan Merlin Toolkit

Ini hanyalah demo di ujung depan sintesis pengucapan. Itu tidak memberikan fungsi regularisasi teks dan prediksi ritme. Gunakan pypinyin untuk mengonversi teks menjadi pinyin, dan menggunakan gagap untuk berpartisipasi. Keakuratan keduanya tidak sebagus tingkat komersial.

Untuk proyek sintesis suara lainnya, portal ujung ke ujung adalah arah yang baik, dan kealamian lebih baik daripada Merlin.

Ini hanya demo frontend Mandarin yang kurangnya beberapa bagian seperti "normalisasi teks" dan "prediksi prosodi", dan set telepon && pertanyaan proyek ini, gunakan proyek ini belum sepenuhnya diuji.

Dokumentasi kasar: draft dokumentasi yang ditulis dalam bahasa Mandarin

Data

Tidak ada dataset sintesis ucapan mandarin open-source di internet, ProJ ini menggunakan dataset THCHS30 untuk mendemostrasi sintesis ucapan

MEMPERBARUI

Data sintesis pidato open-source mandarin dari perusahaan data-banker, data sintesis pidato Cina open source, terima kasih kepada perusahaan Biaobei

【Unduh Data】 https://weixinxcxdb.oss-cn-beijing.aliyuncs.com/gwyinpinku/bznsyp.rar 【Deskripsi Data】 http://www.data-baker.com/open_source.html

Sampel yang dihasilkan

Dengarkan https://jackiexiao.github.io/mtts/

Cara mereproduksi

Pertama, Anda memerlukan data berisi WAV dan TXT (tanda prosodi adalah opsional)
Kedua, menghasilkan label HTS menggunakan proyek ini
Menggunakan Merlin/EGS/Mandarin_Voice untuk melatih dan menghasilkan suara mandarin

Konteks Anotasi Terkait & Set Pertanyaan

Anotasi terkait konteks
Set pertanyaan
Aturan untuk merancang aturan desain yang ditanyai

Memasang

Python: Python3.6
Sistem: Linux (Diuji pada Ubuntu16.04)

 pip install jieba pypinyin
sudo apt-get install libatlas3-base

Jalankan bash tools/install_mtts.sh
Atau unduh file sendiri

Unduh Montreal-Forced-Aligner dan Unzip ke Directory Tools/
Unduh acoustic_model thchs30.zip dan salin ke direktori misc/

Jalankan demo

 bash run_demo.sh

Penggunaan

1. Hasilkan Label HTS dengan WAV dan Teks

Penggunaan: Jalankan python src/mtts.py txtfile wav_directory_path output_directory_path (jalur absolut atau jalur relatif) maka Anda akan mendapatkan label hts, jika Anda memiliki model akustik yang dilatih oleh -a your_acoustic_model.zip . bawaan
Perhatian: Saat ini hanya mendukung karakter Cina, txt tidak boleh memiliki nomor Arab atau alfabet Inggris (tidak dapat berisi angka Arab dan karakter Inggris)

Contoh txtfile

 A_01 这是一段文本
A_02 这是第二段文本

Contoh wav_directory (laju sampel harus lebih besar dari 16kHz)

 A_01.wav  
A_02.wav

2. Hasilkan Label HTS dengan teks dengan atau tanpa file penyelarasan

Penggunaan: Jalankan python src/mandarin_frontend.py txtfile output_directory_path
atau impor mandarin_frontend

 from mandarin_frontend import txt2label

result = txt2label('向香港特别行政区同胞澳门和台湾同胞海外侨胞')
[print(line) for line in result]

# with prosody mark and alignment file (sfs file)
# result = txt2label('向#1香港#2特别#1行政区#1同胞#4澳门#2和#1台湾#1同胞#4海外#1侨胞',
            sfsfile='example_file/example.sfs')

Lihat Kode Sumber Untuk informasi lebih lanjut, tetapi perhatikan file Alignment (file SFS), formatnya adalah endtime phone_type not start_time, phone_type (yang berbeda dari data ucapan laut)

3. Penyelarasan paksa

Proyek ini menggunakan Montreal-Forced-Aligner untuk melakukan penyelarasan paksa, jika Anda ingin mendapatkan penyelarasan yang lebih baik, gunakan data Anda untuk melatih model penyelarasan, lihat MFA: Algin-using-only-the-Dataset

Kami melatih model akustik menggunakan dataset THCHS30, lihat misc/thchs30.zip , kamus yang kami gunakan mandarin_mtts.leksikon. Jika Anda menggunakan dataset yang lebih besar dari THCHS30, Anda mungkin mendapatkan keselarasan yang lebih baik.
Jika Anda ingin menggunakan model mandarin pra-terlatih MFA (Montreal-Forced-Aligner), ini adalah kamus yang Anda butuhkan mandarin-for-montreal-forced-aligner-pre-codel.lexicon

Tanda prosodi

Anda dapat menghasilkan label HTS tanpa tanda prosodi. Kami berasumsi bahwa segmen kata lebih kecil dari kata prosodik (yang disesuaikan dalam kode)

"#0", "#1", "#2", "#3" dan "#4" adalah simbol pelabelan prosodi.

#0 adalah singkatan dari Segmen Kata
#1 berarti kata prosodik
#2 berarti kata -kata yang penuh tekanan (sebenarnya dalam proyek ini kita membuatnya menyesal sebagai #1)
#3 berarti frasa prosodik
#4 berarti frasa internasional