dctts2

Teks konvolusi yang mendalam untuk berbicara

Ini adalah implementasi dari makalah "sistem teks-ke-speech yang dapat dilatih secara efisien berdasarkan jaringan konvolusional yang dalam dengan perhatian terpandu" https://arxiv.org/abs/1710.08969

Kode ini didasarkan pada implementasi berikut

• https://github.com/keithito/tacotron.git
• https://github.com/joisino/chainer-ettts.git
• https://github.com/kyubyong/tacotron.git

Model melatih "Text2Mel" & "SSRN" secara terpisah melalui trainmel.py & trainmag.py Anda perlu mengunduh dataset LJSPEECH yang tersedia di https://keithito.com/lj-sheech-dataset/

Sampel audio

Anda dapat mendengarkan sampel audio

Model pra-terlatih dapat diunduh di sini

Siapkan dataset

Pertama, Anda harus menyiapkan dataset. Jika Anda ingin menggunakan dataset LJSPEECH, Anda dapat menggunakan perintah berikut.

 $ wget http://data.keithito.com/data/speech/LJSpeech-1.0.tar.bz2
$ tar xvf LJSpeech-1.0.tar.bz2
$ python prepro.py 

Latih jaringan Text2Mel

 $ python trainmel.py

Selama pelatihan, Anda dapat meninjau output (secara default setiap 200 minibatch) ia membuang dua contoh pertama dalam batch ke dalam Mel0.png & Mel1.png juga melihat perhatian yang dipelajari melalui a0.png & a1.png

Mel

Perhatian

Latih Jaringan SSRN

 $ python trainmag.py

Selama pelatihan, Anda dapat melihat output melalui MAG0.PNG & mag1.png, yang membandingkan spektrogram yang dipelajari dengan kebenaran Groung.

Mag

Mempersatukan

Untuk mensintesis penggunaan Sentance baru:

 $ python synth.py --text "sentance to synthesize" --file output.wav

Demo Server Web

Anda dapat menjalankan server web demo untuk melakukan TTS dengan menjalankan

 $ python server.py

Ini menggunakan kerangka flask untuk menjalankan demo