Multi Singer

Multi-cantor: vocoder de voz de canto múltiplo rápido com um corpus em larga escala

Implementação de Pytorch de (ACM MM'21) Multi-Singer: vocoder de voz de canto multi-cantor rápido com um corpus em larga escala.

Requisitos

Consulte os requisitos no requisito.txt:

• Linux
• Python 3.6
• Pytorch 1.0+
• Librosa
• JSON, TQDM, log

Começando

Aplique receita ao seu próprio conjunto de dados

• Coloque quaisquer arquivos WAV no diretório de dados
• Editar configuração em config/config.yaml

1. Pré

Use nosso ponto de verificação, ou
Você também pode treinar o codificador por conta própria aqui e definir o enc_model_fpath em config/config.yaml. Defina params como os do encoder/params_data e encoder/params_model .

2. Pré -processo

Extraia o espectrograma MEL

 python preprocess . py - i data / wavs - o data / feature - c config / config . yaml

-i sua pasta de áudio

-o Saída de pasta de recursos acústicos

-c arquivo de configuração

3. Trem

Treinamento condicionado ao MEL-Spectrograma

 python train . py - i data / feature - o checkpoints / - - config config / config . yaml

-i pasta de recursos acústicos

-o diretório para salvar pontos de verificação

-c arquivo de configuração

4. Inferência

 python inference . py - i data / feature - o outputs /  - c checkpoints / * . pkl - g config / config . yaml

-i pasta de recursos acústicos

-o Diretório para salvar o discurso gerado

-c Arquivo de pontos de verificação

-c arquivo de configuração

5. Síntese de voz cantando

Para cantar a síntese de voz:

• Pegue o FastSpeech 2 modificado para a síntese de espectrograma MEL
• Use espectrograma MEL sintetizado em multi-cantora para síntese de forma de onda.

Ponto de verificação

Treinado no OpenSinger

Agradecimentos

GE2E
FastSpeech 2
Gangan de onda paralelo

Citação

 @inproceedings{huang2021multi,
  title={Multi-Singer: Fast Multi-Singer Singing Voice Vocoder With A Large-Scale Corpus},
  author={Huang, Rongjie and Chen, Feiyang and Ren, Yi and Liu, Jinglin and Cui, Chenye and Zhao, Zhou},
  booktitle={Proceedings of the 29th ACM International Conference on Multimedia},
  pages={3945--3954},
  year={2021}
}

Pergunta

Sinta -se à vontade para entrar em contato comigo em [email protected]