detail_tts

Detail TTS

Das Modell schlug neu vor, drei wichtige wichtige Methoden, um die Best -Practice von AR TTS zu werden.

• Obwohl RVQ verwendet wird, verwendet die tatsächliche Schulung kontinuierliche Funktionen, ich nenne es gefälschte Diskretisierung.
• Alles in einem Modell. Das Modell enthält GPT, Diffusion, Vqvae, Gan und Flowvae in einem. Ein Zug eine Schlussfolgerung.
• Sowohl vorangestellte SPK -EMB als auch Eingabeaufforderung werden verwendet, um sowohl von der Inferenz- als auch von der Schildkrötenausbildung zu profitieren.

Hier ist das Ergebnis, das nach dem Modell von 10000 Stunden mit sehr schmutzigen Daten erzielt wurde. Das Modell kann leicht mit vielen Daten von geringer Qualität skaliert werden.

Eingabeaufforderung 0

prompt00.mov

erzeugt 0

prompt01.mov

Eingabeaufforderung 1

prompt10.mov

erzeugt 1

prompt12.mov

Eingabeaufforderung 2

prompt20.mov

erzeugt 2

prompt21.mov

Schlussfolgerung

api.py überprüfen

Datensatz vorbereiten

Ändern Sie den Pfad enthält Audios im Skript und führen Sie aus

 python prepare/0_vad_asr_save_to_jsonl.py

Zug und feine Melodie

 accelerate launch train.py

Ändern Sie zur Feinabstimmung den Lastpfad des Vorab -Modells.

Anerkennung

VQ und Vits von GSV

Diffusion und GPT von Schildkröte