deepaudio tts

O que é Deepaudio-TTS?

O Deepaudio-TTS é uma estrutura para o treinamento de modelos de texto em fala baseados em redes neurais (TTS). Ele inclui ou incluirá arquiteturas populares de rede neural para modelos TTS e vocoder.

Para facilitar o uso de várias funções, como precisão mista, treinamento em vários nó e treinamento de TPU etc., introduzi o Pytorch-Lighting e o Hydra nessa estrutura. Ainda está em desenvolvimento.

Exemplos de treinamento

1. Pré -processo seus dados. (Os scripts estão chegando em breve, ou você pode seguir o tutorial do discurso de paddle para esta etapa.)
2. Treine o modelo. Você pode escolher um experimento em Deepaudio/TTS/CLI/Configs/Experiment. Em seguida, treine o modelo com as seguintes linhas:

 $ export PYTHONPATH="${PYTHONPATH}:/dir/of/this/project/"
$ python -m deepaudio.tts.cli.train experiment=tacotron2 datamodule.train_metadata=/you/path/to/train_metadata datamodule.dev_metadata=/you/path/to/dev_metadata

Modelos suportados

1. Tacotron2
2. FastSpeech2
3. Transformador TTS
4. Gangan de onda paralelo
5. Hifigan
6. Vits

Plano futuro

código limpo

1. Remova os códigos redundantes.
2. Torne mais limpo.

Modelos

1. Outros modelos.
2. Modelos pré -terem sido pretados.

Implantação

1. ONNX
2. jit

Como contribuir para o Deepaudio-TTS

É um projeto pessoal. Portanto, não tenho recursos de GPU suficientes para fazer muitos experimentos. Este projeto ainda está em desenvolvimento. Agradeço qualquer tipo de feedback ou contribuições. Por favor, sinta -se à vontade para fazer um requinte para alguns pequenos problemas, como correções de bugs, resultados da experiência. Se você tiver alguma dúvida, abra um problema.

Reconhecer

Peguei emprestado muitos códigos da ESPNET e Paddle Discury