MB iSTFT VITS with AutoVocoder

MB-Istft-vits avec AutoVoDer

Motivation à la mise en œuvre

À partir de VITS, MB-Istft-Vits améliore la vitesse de synthèse en utilisant des techniques ci-dessous:

1. Stratégie de génération parallèle multi-bandes en décomposant les signaux de la parole en signaux de sous-bande
2. Processus de génération de forme d'onde basé sur l'ISTFT
   

Sur la base de ce cadre bien conçu, ce référentiel vise à améliorer encore la qualité sonore et la vitesse d'inférence avec AutoVoCoder.
Ce repo est basé sur MB-Istft-Vits, et les modifications et améliorations attendues sont ci-dessous:

• 1. Remplacez le décodeur basé sur ISTFTNET au décodeur basé sur AutoVoDer.
  

• 2. Dans l'opération ISTFT, utilisez des composants réels / imaginaires au lieu de phase / magnitude pour construire un spectrogramme complexe. Ajoutez une perte de reconstruction du domaine temporel.

• 3. Révisez le codeur postérieur pour accepter 4 composants complexes au lieu du spectrogramme linéaire.
  

• En raison de la nature des vites qui modélisent des lameurs puissants, AutoVoCoder peut être une application appropriée en raison de son architecture Autoencoder. Il a également une vitesse d'inférence rapide en générant directement une forme d'onde avec (1024, 256, 1024) FFT / HOP / WIN SIZE sans modules UPSmpling. (La startegy multi-bandes sera maintenue)
• Les modèles TTS conventionnels, y compris les VITS, les informations de phase de modélisation ont été entièrement le rôle d'un décodeur (vocodeur). Dans Mod 3. , En fournissant des informations de phase à destentes, nous testons si Prior peut se rapprocher de ces derniers.

Disclaimer : This repo is built for testing purpose. Performance is not guaranteed. Welcome your contributions.

Note

• Pour une comparaison facile, nous n'avons pas changé toute l'architecture de l'encodeur postérieur. Au lieu de cela, nous n'avons utilisé que la convolution de groupe dans la partie avant pour traiter les entrées révisées (4 composantes complexes).
• Dans le courant, ce repo essaie d'implémenter le modèle basé sur MB-Istft-Vits. Application à Mini, MS, sans MB pourrait être un travail futur.

Explication (de MB-Istft-Vits)

0. BASELINE: MB-ISTFT-VITS

1. Pré-requis

0. Python> = 3,6
1. Cloner ce référentiel
2. Installez les exigences Python. Veuillez référer les exigences.txt
   1. Vous devrez peut-être installer Espeak d'abord: apt-get install espeak
3. Télécharger des ensembles de données
   1. Télécharger et extraire l'ensemble de données LJ Speech, puis renommer ou créer un lien vers le dossier de l'ensemble de données: ln -s /path/to/LJSpeech-1.1/wavs DUMMY1
4. Créez la recherche d'alignement monotonique et exécutez le prétraitement si vous utilisez vos propres ensembles de données.

 # Cython-version Monotonoic Alignment Search
cd monotonic_align
mkdir monotonic_align
python setup.py build_ext --inplace

2. Formation

Dans le cas de la formation MB-Istft-Vits, exécutez le script suivant

python train_latest.py -c configs/ljs_mb_istft_vits.json -m ljs_mb_istft_vits

Après la formation, vous pouvez vérifier l'audio Inference en utilisant Inference.Ipynb

Références

• MB-Istft-vits: papier / code
• AutoVoDer: papier / code (non officiel)