LVCNet

LVCNET: Rede de modelagem dependente da condição eficiente para geração de formas de onda

Usando o LVCNET para projetar o gerador do paralelo Wavegan e a mesma estratégia para treiná -lo, a velocidade de inferência do novo vocoder é mais de 5x mais rápido que o vocoder original sem qualquer degradação na qualidade do áudio .

Nossos trabalhos atuais [artigo] foram aceitos pelo ICASSP2021 e nossos trabalhos anteriores foram descritos em Melglow.

Treinamento e teste

1. Prepare os dados, faça o download do conjunto de dados LJSpeech em https://keithito.com/lj-seech-dataset/ e salve-os em data/LJSpeech-1.1 . Em seguida, corra

    python - m vocoder . preprocess - - data - dir . / data / LJSpeech - 1.1 - - config configs / lvcgan . v1 . yaml

   Os Mel-Sepctrums são calculados e salvos na temp/ .

2. Treinamento LVCNet

    python - m vocoder . train - - config configs / lvcgan . v1 . yaml - - exp - dir exps / exp . lvcgan . v1

3. Teste LVCNet

    python - m vocoder . test - - config configs / lvcgan . v1 . yaml - - exp - dir exps / exp . lvcgan . v1

4. Os resultados experimentais, incluindo registros de treinamento, pontos de verificação do modelo e áudios sintetizados, são armazenados na pasta exps/exp.lvcgan.v1/ .
   Similaridade, você também pode usar o arquivo de configuração configs/pwg.v1.yaml para treinar um modelo de onda paralelo.

    # training
   python - m vocoder . train - - config configs / pwg . v1 . yaml - - exp - dir exps / exp . pwg . v1
   # test
   python - m vocoder . test - - config configs / pwg . v1 . yaml - - exp - dir exps / exp . pwg . v1 

Resultados

Tensorboard

Use o Tensorboard para visualizar o processo de treinamento experimental:

 tensorboard --logdir exps

Perda de transmissão

Avalie a perda

Amostra de Aduio

Amostras de áudio são salvas em samples/ , onde

• samples/*_lvc.wav são geradas por lvcnet,
• samples/*_pwg.wav são geradas por ondas paralelas,
• samples/*_real.wav são o áudio real.

Referência

LVCNET: Rede de modelagem dependente da condição eficiente para geração de formas de onda, https://arxiv.org/abs/2102.10815
Melglow: Rede generativa eficiente da forma de onda com base na convolução da variável de localização, https://arxiv.org/abs/2012.01684
https://github.com/kan-bayashi/parallelwavegan
https://github.com/lmnt-com/diffwave