FlashSpeech

Flashspeech

Implementierung des Flashspeech. Für alle Details finden Sie unser auf ACM MM 2024 akzeptiertes Papier: Flasspeech: Effiziente Null-Shot-Sprachsynthese.

Beachten

• Dieses Projekt ist eine modifizierte Version basierend auf Amphions NaturalSpeech22 aufgrund der Verwendung einiger interner Microsoft -Tools im Originalcode.
• Umgebungsaufbau :

  bash env.sh

• Ich habe Amphions accelerate durch lightning ersetzt, weil ich ähnliche Probleme (verwandtes Problem) gestoßen habe. Das Training mit lightning ist schneller.

Datenvorbereitung

• Ändern Sie ns2dataset.py basierend auf Ihren Daten.
• Diese Version wurde im Libritts -Datensatz getestet. Stellen Sie sicher, dass Sie die folgenden Daten im Voraus erstellen lassen:
  • Tonhöhe
  • Code
  • Phonem
  • Dauer

Ausbildung

1. Führen Sie das Trainingsskript aus :

   bash egs/tts/NaturalSpeech2/run_train.sh

Wichtige Anmerkungen :

• Wählen Sie Konfiguration :

  • Sie können entweder ***_s1 oder ***_s2 -Konfigurationsdateien basierend auf der Trainingsphase auswählen.

• Modellcodec ändern :

  • Aktualisieren Sie in models/tts/naturalspeech2/flashspeech.py den Codec auf Ihren eigenen.
  • Passen Sie self.latent_norm an, um den Codec latent auf die Standardabweichung zu normalisieren. (Dieser Schritt ist entscheidend für das Training des Konsistenzmodells.)

• Stufe 2 Setup :

  • Setzen Sie in models/tts/naturalspeech2/flashspeech_trainer_stage2.py die anfänglichen Gewichte aus dem Training Stufe 1.

• Entwicklung der Stufe 3 :

  • Der Code für Stufe 3 ist noch nicht veröffentlicht. Sie können sich jedoch auf das Konsistenztraining der Stufe 1 verweisen, um es umzusetzen.

Todo

Organisieren Sie die Projektstruktur weiter und vervollständigen Sie den verbleibenden Code.

Anerkennung

Besonderer Dank geht an Amphion , da unsere Codebasis hauptsächlich von Amphion entlehnt wird.

Vielen Dank, dass Sie Flasspeech verwendet haben!