detail_tts

Detalhes TTS

O modelo recentemente propôs três métodos importantes importantes para se tornarem as melhores práticas de ARTs.

• Embora o RVQ seja usado, o treinamento real emprega recursos contínuos, eu chamo de discretização falsa.
• Tudo em um modelo. O modelo contém GPT, difusão, VQVAE, GaN e Flowvae, tudo em um. Um trem uma inferência.
• Ambos o SPK EMB prefixado e o prompt são usados ​​para se beneficiar do tipo de inferência do tipo Valle e treinamento do tipo de tartaruga.

Aqui está o resultado obtido depois que o modelo foi treinado em 10000 horas de dados muito sujos. O modelo pode ser facilmente ampliado com muitos dados de baixa qualidade.

Prompt 0

Prompt00.mov

gerado 0

Prompt01.mov

Prompt 1

Prompt10.mov

gerado 1

Prompt12.mov

Prompt 2

Prompt20.mov

gerado 2

Prompt21.mov

Inferência

Verifique api.py

Conjunto de dados preparar

Alterar o caminho contém áudios no script e execute

 python prepare/0_vad_asr_save_to_jsonl.py

Treine e sintonizar

 accelerate launch train.py

Para ajuste fino, altere o caminho de carga do modelo de pré -rAin.

Agradecimentos

VQ e VITs do GSV

Difusão e GPT da tartaruga