MB iSTFT VITS with AutoVocoder

MB-ISTFT-VITS dengan autovocoder

Motivasi untuk implementasi

Mulai dari VITS, MB-ISTFT-VIT meningkatkan kecepatan sintesis menggunakan teknik di bawah ini:

1. Strategi generasi paralel multi-band dengan mendekomposisi sinyal bicara menjadi sinyal sub-band
2. Proses pembuatan gelombang berbasis ISTFT
   

Berdasarkan kerangka kerja yang dirancang dengan baik ini, repositori ini bertujuan untuk lebih meningkatkan kualitas suara dan kecepatan inferensi dengan autovocoder.
Repo ini didasarkan pada MB-istft-vits, dan modifikasi dan peningkatan yang diharapkan di bawah ini:

• 1. Ganti decoder berbasis ISTFTNET ke dekoder berbasis autovocoder.
  

• 2. Dalam operasi ISTFT, gunakan komponen fase/magnitudo yang nyata/imajiner untuk membangun spektrogram yang kompleks. Tambahkan kehilangan rekonstruksi waktu-domain.

• 3. Revisi enkoder posterior untuk menerima 4 komponen kompleks alih -alih spektrogram linier.
  

• Karena sifat vits yang memodelkan laten yang kuat, autovocoder dapat menjadi aplikasi yang tepat karena arsitektur autoencodernya. Juga memiliki kecepatan inferensi cepat dengan secara langsung menghasilkan bentuk gelombang dengan (1024, 256, 1024) ukuran FFT/hop/win tanpa modul Upsmpling. (Startegy multi-band akan dipertahankan)
• Model TTS konvensional termasuk VIT, informasi fase pemodelan telah sepenuhnya menjadi peran decoder (vocoder). Dalam Mod 3. , Dengan memberikan informasi fase kepada laten, kami menguji apakah sebelumnya dapat dengan andal mendekati laten ini.

Disclaimer : This repo is built for testing purpose. Performance is not guaranteed. Welcome your contributions.

Catatan

• Untuk perbandingan yang mudah, kami tidak mengubah seluruh arsitektur enkoder posterior. Sebaliknya, kami hanya menggunakan konvolusi grup di bagian depan untuk memproses input yang direvisi (4 komponen kompleks).
• Pada saat ini, repo ini mencoba mengimplementasikan model berbasis MB-istft-vits. Aplikasi untuk Mini, MS, W/O MB mungkin pekerjaan di masa depan.

Penjelasan (dari MB-ISTFT-VITS)

0. Baseline: MB-ISTFT-VITS

1. Prasyarat

0. Python> = 3.6
1. Kloning repositori ini
2. Pasang persyaratan Python. Silakan merujuk persyaratan.txt
   1. Anda mungkin perlu menginstal Espeak terlebih dahulu: apt-get install espeak
3. Unduh set data
   1. Unduh dan ekstrak dataset LJ Speech, lalu ganti nama atau buat tautan ke folder dataset: ln -s /path/to/LJSpeech-1.1/wavs DUMMY1
4. Bangun pencarian penyelarasan monotonik dan jalankan preprocessing jika Anda menggunakan set data Anda sendiri.

 # Cython-version Monotonoic Alignment Search
cd monotonic_align
mkdir monotonic_align
python setup.py build_ext --inplace

2. Pelatihan

Dalam kasus pelatihan MB-istft-vits, jalankan skrip berikut

python train_latest.py -c configs/ljs_mb_istft_vits.json -m ljs_mb_istft_vits

Setelah pelatihan, Anda dapat memeriksa audio inferensi menggunakan inferensi.ipynb

Referensi

• MB-ISTFT-VITS: Kertas / Kode
• Autovocoder: kertas / kode (tidak resmi)