ForwardTacotron NVDA

Dukungan ForwardTacotron dan HiFi-Gan untuk pembaca layar NVDA

Catatan: Add-on ini serta dokumentasi masih sedang dibangun. Kontribusi Anda dipersilakan!

perkenalan

Ingat bahwa ForwardTacotron adalah model sintesis ucapan di Pytorch yang menggunakan prediktor durasi untuk menyelaraskan teks dan menghasilkan spektrogram Mel. Model ini memiliki keunggulan, seperti ketahanan, kecepatan, manipulasi nada dan energi, dan efisiensi.

Jadi, plugin ini merupakan upaya untuk mengimplementasikan dukungan untuk ForwardTacotron di pembaca layar open source NVDA melalui klien/server, karena pustaka yang digunakan sebagai obor tidak mungkin untuk dimasukkan dalam NVDA secara langsung.

Ini adalah pekerjaan yang sedang berlangsung dan karena itu masih banyak yang harus dilakukan.

Sementara itu, Anda dapat mendengarkan kemajuan yang telah dibuat sejauh ini.

Sampel audio

Bahasa	Suara	Mencicipi
Bahasa inggris	LJSPEECH (dengan Griffinlim Vocoder)
Bahasa inggris	Ljspeech (dengan vocoder hifi)
Spanyol	Dataset ALD (dengan vocoder hifi-gan)
Spanyol	Odal (dengan vocoder hifi, model universal)

untuk melakukan:

• Cara untuk mengkompilasi dan mengintegrasikan server ke add-on.
  • Ketika ini terjadi, biarkan server terbuka saat synth dimuat. Setelah server memuat, kami dapat menelepon pemeriksaan untuk membuat Synthesizer ucapan siap digunakan.
  • Dua versi dapat dibuat untuk add-on, dengan dukungan CPU dan satu dengan dukungan GPU, karena tampaknya sintesis dihasilkan secara real time pada GPU. Sementara itu, kita mungkin melihat perlambatan di CPU.
• Dukungan perubahan suara dan energi dalam opsi cincin synth.
• Saat ini add-on menggunakan HTTPLIB2 untuk berkomunikasi dengan server, tetapi saya bisa mencari metode lain dan jika perlu menulis ulang bagian dari server.
• Tambahkan dukungan untuk memuat berbagai suara yang dapat dideteksi dalam folder "voice_models".
  • Dengan ini, dukungan untuk mengunduh model terlatih dapat ditambahkan. Kami memiliki model LJSPEECH dalam bahasa Inggris, yang lain dalam bahasa Jerman dan dua dalam bahasa Spanyol.
• Untuk model multi-speaker yang lebih baru, dapat membaca pengaturan untuk memeriksa, dan jika demikian, ia dapat memilih suara dari opsi cincin synth dengan pertama kali berkonsultasi dengan nama speaker pada model.