detail_tts

Détail TTS

Le modèle a récemment proposé trois méthodes importantes importantes pour devenir la meilleure pratique des artts.

• Bien que RVQ soit utilisé, la formation réelle utilise des fonctionnalités continues, j'appelle cela une fausse discrétisation.
• Tout dans un modèle. Le modèle contient GPT, Diffusion, VQVae, Gan et Flowvae tout en un. Un train une inférence.
• L'EMP SPK et l'invite préfixés sont utilisés pour bénéficier à la fois de l'inférence de type Valle et de la formation de type tortue.

Voici le résultat obtenu après que le modèle a été formé sur 10000 heures de données très sales. Le modèle peut être facilement étendu avec de nombreuses données de faible qualité.

invite 0

prompt00.mov

généré 0

prompt01.mov

prompt 1

prompt10.mov

généré 1

prompt12.mov

Invite 2

prompt20.mov

généré 2

prompt21.mov

Inférence

Vérifiez api.py

Préparer les données

Changer le chemin contient des audios dans le script et exécuter

 python prepare/0_vad_asr_save_to_jsonl.py

Train et amende

 accelerate launch train.py

Pour un réglage fin, modifiez le chemin de charge du modèle Pretrain.

Remerciements

VQ et VITS de GSV

Diffusion et GPT de la tortue