TensorVox

Tensorvox

Tensorvox adalah aplikasi yang dirancang untuk memungkinkan sintesis pidato saraf yang ramah pengguna dan ringan di desktop, yang bertujuan meningkatkan aksesibilitas ke teknologi tersebut.

Didukung terutama oleh TensorFlowTTS dan juga oleh Coqui-TT dan VIT, ditulis dalam C ++/QT murni, menggunakan TensorFlow C API untuk berinteraksi dengan model TensorFlow (dua pertama), dan LIGTORCH untuk yang pytorch. Dengan cara ini, kita dapat melakukan inferensi tanpa harus menginstal perpustakaan python senilai gigabytes, hanya beberapa DLL.

Cobalah

Panduan terperinci di Google Documents

Ambil salinan dari rilis, ekstrak .zip dan periksa folder Google Drive untuk model dan instruksi instalasi

Jika Anda tertarik untuk menggunakan model Anda sendiri, pertama -tama Anda perlu berlatih lalu mengekspornya.

Arsitektur yang didukung

Tensorvox mendukung model dari tiga repo:

• TensorFlowTTS : FastSpeech2, Tacotron2, baik Char dan Foneme berbasis dan multi-band Melgan. Inilah notebook Colab yang menunjukkan cara mengekspor model TACOTRON2 berbasis LJSPEECH Pretrained, Char:
• Coqui-tts: TACOTRON2 (IPA berbasis fonem) dan Multi-band Melgan, setelah mengkonversi dari Pytorch ke TensorFlow. Berikut buku catatan yang menunjukkan cara mengekspor model LJSPEECH DDC:
• Jaywalnut310/Vits: Vits, yang merupakan model E2E sepenuhnya. (IPA yang ditekankan sebagai fonem) Ekspor Notebook:

Kedua contoh itu harus memberi Anda panduan yang cukup untuk memahami apa yang dibutuhkan. Jika Anda ingin melatih model khusus untuk tujuan ini maka saya merekomendasikan TensorFlowtts, karena ini adalah yang dengan dukungan terbaik, dan Vit, karena ini adalah hal terdekat yang sempurna seperti untuk bahasa, dukungan di luar kotak disediakan untuk bahasa Inggris (Coqui dan TFTTS, VIT), Jerman dan Spanyol (hanya TensorFlowtts); Artinya, Anda tidak perlu melakukan apa pun. Anda dapat menambahkan bahasa tanpa memodifikasi kode, selama set fonem adalah IPA (stres atau tidak dibatasi), ARPA, atau GlobalPhone, (buka masalah dan saya akan menjelaskannya kepada Anda)

Bangun instruksi

Saat ini, hanya Windows 10 x64 (meskipun saya pernah mendengar laporannya di 8.1) yang didukung.

Persyaratan:

1. Qt Creator
2. Kompiler MSVC 2017 (V141)

Primed build (dengan semua perpustakaan yang disediakan):

1. Unduh dependensi biner yang telah dikompilasi dan termasuk
2. Buka ritsleting sehingga folder deps berada di tempat yang sama dengan file .pro dan sumber utama.
3. Buka proyek dengan QT Creator, tambahkan kompiler dan kompilasi Anda

Perhatikan bahwa untuk mencoba Executable baru Anda yang dapat dieksekusi, Anda harus mengunduh rilis program seperti yang dijelaskan di atas dan mengganti yang dapat dieksekusi dalam rilis itu dengan yang baru, jadi Anda memiliki semua DLL di tempatnya.

TODO: Tambahkan instruksi untuk dikompilasi dari awal.

Eksternal (dan terima kasih)

• LIBTORCH : https://pytorch.org/cppdocs/installing.html

• TensorFlow C API : https://www.tensorflow.org/install/lang_c

• CPPFLOW (TF C API -> C ++ Wrapper): https://github.com/serizba/cppflow

• Audiofile (untuk ekspor WAV): https://github.com/adamstark/audiofile

• Jendela gaya gelap bingkai : https://github.com/jorgen-vikinggod/qt-frameless-window-darkstyle

• JSON untuk C ++ modern : https://github.com/nlohmann/json

• R8BRAIN-FREE-SRC (Resampling): https://github.com/avaneev/r8brain-free-src

• rnnoise (versi cmake, output denoising): https://github.com/almogh52/rnnoise-cmake

• Logitech LED Illumination SDK (Integrasi RGB Mouse): https://www.logitechg.com/en-us/innovation/developer-lab.html

• QCustomplot : https://www.qcustomplot.com/index.php/introduction

• libnumberText : https://github.com/numberText/libnumberText

Kontak

Anda dapat membuka masalah di sini atau bergabung dengan server Discord dan mendiskusikan/bertanya apa pun di sana

Untuk Media/Lisensi/Permintaan Formal Lainnya, Kirim ke Email Ini: [email protected]

Catatan tentang lisensi

Program ini sendiri berlisensi MIT, tetapi untuk model yang Anda gunakan, ketentuan lisensi mereka berlaku. Misalnya, jika Anda berada di Vietnam dan menggunakan model TensorFlowTTS, Anda harus memeriksa di sini untuk beberapa detail