MB iSTFT VITS with AutoVocoder

MB-ISTFT-Vits mit Autovocoder

Motivation für die Umsetzung

Ausgehend von Vits verbessert MB-ISTFT-Vits die Synthesegeschwindigkeit unter Verwendung der folgenden Techniken:

1. Strategie zur parallelen Generierung von Mehrfachbörsen-Strategien, indem Sprachsignale in Subband-Signale zerlegt werden
2. ISTFT -basierter Wellenformerzeugungsprozess
   

Basierend auf diesem gut gestalteten Framework zielt dieses Repository darauf ab, die Klangqualität und Inferenzgeschwindigkeit mit Autovocoder weiter zu verbessern.
Dieses Repo basiert auf MB-ISTFT-Vits, und die erwarteten Modifikationen und Verbesserungen finden Sie unten:

• 1. Ersetzen Sie den ISTFTNET-basierten Decoder in autovokoderbasierten Decoder.
  

• 2. Verwenden Sie im ISTFT -Betrieb real/imaginär anstelle von Phasen-/Größenkomponenten, um ein komplexes Spektrogramm zu konstruieren. Fügen Sie Zeitdomänenrekonstruktionsverlust hinzu.

• 1. Überarbeiten Sie den hinteren Encoder, um 4 komplexe Komponenten anstelle des linearen Spektrogramms zu akzeptieren.
  

• Aufgrund der Art von Vits, die leistungsstarke Latenten modelliert, kann der Autovocoder aufgrund seiner Autocoderarchitektur eine ordnungsgemäße Anwendung sein. Außerdem hat es eine schnelle Inferenzgeschwindigkeit, indem sie direkt mit (1024, 256, 1024) FFT/Hop/Win -Größe (1024, 256, 1024) erzeugt wird, ohne dass upsmpling -Module. (Multi-Band-Startegy wird beibehalten)
• Herkömmliche TTS -Modelle, einschließlich Vits, Modellierungsphaseninformationen waren vollständig die Rolle eines Decoders (Vocoder). In Mod 3. Durch die Bereitstellung von Phaseninformationen für Latents testen wir, ob zuvor vorhanden diese Latenten zuverlässig sind.

Disclaimer : This repo is built for testing purpose. Performance is not guaranteed. Welcome your contributions.

Notiz

• Zum einfachen Vergleich haben wir die gesamte Architektur des hinteren Encoders nicht geändert. Stattdessen verwendeten wir nur Gruppenfaltung im vorderen Teil, um überarbeitete Eingaben (4 komplexe Komponenten) zu verarbeiten.
• In aktuellem Umfang versucht dieses Repo, MB-ISTFT-Vits-basiertes Modell zu implementieren. Die Anwendung auf Mini, MS, ohne MB könnte zukünftige Arbeit sein.

Erläuterung (aus mb-istft-vits)

0. Grundlinie: MB-ISTFT-Vits

1. Voraussetzungen

0. Python> = 3,6
1. Klonen Sie dieses Repository
2. Installieren Sie die Python -Anforderungen. Bitte beachten Sie die Anforderungen.txt
   1. Möglicherweise müssen Sie zuerst Espeak installieren: apt-get install espeak
3. Datensätze herunterladen
   1. Laden Sie den LJ -Sprachdatensatz herunter und extrahieren Sie sie und erstellen Sie dann einen Link zum Datensatzordner: ln -s /path/to/LJSpeech-1.1/wavs DUMMY1
4. Erstellen Sie monotonische Ausrichtungssuche und führen Sie die Vorverarbeitung aus, wenn Sie Ihre eigenen Datensätze verwenden.

 # Cython-version Monotonoic Alignment Search
cd monotonic_align
mkdir monotonic_align
python setup.py build_ext --inplace

2. Training

Führen Sie im Fall von MB-ISTFT-Vits-Training das folgende Skript aus

python train_latest.py -c configs/ljs_mb_istft_vits.json -m ljs_mb_istft_vits

Nach dem Training können Sie Inferenz -Audio mit Inference.ipynb überprüfen

Referenzen

• MB-ISTFT-Vits: Papier / Code
• Autovocoder: Papier / Code (inoffiziell)