MelNet

Melnet

Implementação de Melnet: um modelo generativo para áudio no domínio da frequência

Pré -requisitos

• Testado com Python 3.6.8 e 3.7.4, Pytorch 1.2.0 e 1.3.0.
• pip install -r requirements.txt

Como treinar

Conjuntos de dados

• Blizzard, VoxceleB2 e KSS têm arquivos YAML fornecidos em config/ . Para outros conjuntos de dados, preencha seu próprio arquivo YAML de acordo com os outros fornecidos.
• O treinamento incondicional é possível para todos os tipos de conjuntos de dados, desde que eles tenham uma extensão de arquivo consistente especificada por data.extension Extensão dentro do arquivo YAML.
• Atualmente, o treinamento condicional é implementado apenas para KSS e um subconjunto do conjunto de dados da Blizzard.

Executando o código

• python trainer.py -c [config YAML file path] -n [name of run] -t [tier number] -b [batch size] -s [TTS]
  • Cada nível pode ser treinado separadamente. Como cada camada é maior que o anterior (com exceção do Nível 1), modifique o tamanho do lote para cada camada.
    • O nível 6 do conjunto de dados da Blizzard não se encaixa em um P100 de 16 GB, mesmo com um tamanho de lotes de 1.
  • A bandeira -s é um booleano para determinar se deve treinar uma camada TTS. Como uma camada TTS difere apenas no Nível 1, esse sinalizador é ignorado quando [tier number] != 0 . AVISO: Esta bandeira é alterada True não importa o que se segue à bandeira. Ignore -o se você não planeja usá -lo.

Como provar

Preparando os pontos de verificação

• Os pontos de verificação devem ser armazenados em chkpt/ .
• Um arquivo yaml chamado inference.yaml deve ser fornecido em config/ .
• inference.yaml deve especificar o número de camadas, os nomes dos pontos de verificação e se é ou não uma geração condicional.

Executando o código

• python inference.py -c [config YAML file path] -p [inference YAML file path] -t [timestep of generated mel spectrogram] -n [name of sample] -i [input sentence for conditional generation]
  • Timestep refere -se ao comprimento do espectrograma MEL. A proporção de timestep e segundos é aproximadamente [sample rate] : [hop length of FFT] .
  • O sinalizador -i é opcional, necessário apenas para a geração condicional. Cercam a frase com "" e termine com . .
  • Atualmente, a geração incondicional e a geração condicional não suportam geração iniciada (extrapolando dos dados fornecidos).

Pendência

• Implementar procedimento de amostragem
• Amostragem GMM + Função de Perda
• Geração incondicional de áudio
• Síntese de TTS
• Registro de Tensorboard
• Treinamento multi-GPU
• Geração preparada

Autores de implementação

• Seungwon Park, junho Young Yi, YoonHyung Lee, Joowhan Song @ Deepest Season 6 6

Licença

MIT Licença