Robust_Fine_Grained_Prosody_Control

Controle de prosódia robusta e refinada da síntese de fala de ponta a ponta (com o Waveglow)

Implementação de Pytorch de controle prosódio robusto e refinado da síntese de fala de ponta a ponta (não oficial)

Esta implementação usa o conjunto de dados Libritts.

Notas

1. Dev Branch: Tacotron2 com multispico (incorporação do alto -falante). As informações do alto -falante são consumidas apenas pelo módulo decodificador, e o módulo de atenção não vê nada (como intenção dos autores).
2. Text_side Branch: Implementação do modelo de controle de prosódia do lado de texto.
3. O controle da prosódia do lado da fala e a normalização da prosódia não são implementados na versão atual, mas você pode simplesmente adicioná-los na parte superior das ramificações acima.

Pré-requisitos

1. Nvidia gpu + cuda cudnn

Configurar

1. Baixar e extrair o conjunto de dados Libritts
2. Clone este repositório: git clone https://github.com/keonlee9420/Robust_Fine_Grained_Prosody_Control.git
3. CD neste repositório: cd Robust_Fine_Grained_Prosody_Control
4. Inicialize o submódulo: git submodule init; git submodule update
5. ATUALIZAÇÃO .WAV PATHES: sed -i -- 's,/home/keon/speech-datasets/LibriTTS_preprocessed/train-clean-100/,your_libritts_dataset_folder/,g' filelists/*.txt
   • Como alternativa, defina load_mel_from_disk=True em hparams.py e atualize os caminhos de espectrograma de mel
6. Instale o Pytorch 1.0
7. Instale o Apex
8. Instale requisitos do Python ou construa a imagem do Docker
   • Instale os requisitos do Python: pip install -r requirements.txt

Treinamento

1. python train.py --output_directory=outdir --log_directory=logdir
2. (Opcional) tensorboard --logdir=outdir/logdir

Treinamento usando um modelo pré-treinado

(TBD)

Multi-GPU (distribuído) e treinamento automático de precisão mista

1. Não suportado na implementação atual.

Inferência

1. Amostra única: python inference.py -c checkpoint/path -r reference_audio/wav/path -t "synthesize text"
2. Multi Amostras: python inference_all.py -c checkpoint/path -r reference_audios/dir/path

NB Ao executar a síntese de espectro-espectro na síntese de áudio, verifique se o tacotron 2 e o decodificador MEL foram treinados na mesma representação de espectrograma MEL.

Citação

 @misc{lee2021robust_fine_grained_prosody_control,
  author = {Lee, Keon},
  title = {Robust_Fine_Grained_Prosody_Control},
  year = {2021},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {url{https://github.com/keonlee9420/Robust_Fine_Grained_Prosody_Control}}
}

Repositórios relacionados

Waveglow mais rápido que a rede generativa baseada em fluxo em tempo real para síntese de fala

NV-WaveNet mais rápido que o Wavenet em tempo real.

Agradecimentos

Esta implementação usa o código dos seguintes repositórios: Nvidia/Tacotron-2, Kinglittleq/GST-Tacotron

Agradecemos aos autores do papel, especialmente Younggun Lee e Taesu Kim.