Multi Singer

Multi-singer: Vo Vocoder de voz cantante de múltiples cantantes rápidos con un corpus a gran escala

Implementación de Pytorch de (ACM MM'21) Multi-Singer: Vo Vocoder de voz de múltiples cantantes rápidos con un corpus a gran escala.

Requisitos

Consulte los requisitos en requisitos.txt:

• Linux
• Python 3.6
• Pytorch 1.0+
• Librosa
• JSON, TQDM, Registro

Empezando

Aplicar receta a su propio conjunto de datos

• Coloque cualquier archivo WAV en el directorio de datos
• Editar configuración en config/config.yaml

1. Pretrain

Use nuestro punto de control, o
También puede entrenar al codificador por su cuenta aquí y establecer el enc_model_fpath en config/config.yaml. Establezca los parámetros como los de encoder/params_data y encoder/params_model .

2. Preproceso

Extraer espectrograma MEL

 python preprocess . py - i data / wavs - o data / feature - c config / config . yaml

-i tu carpeta de audio

-o de la carpeta de características acústicas de salida

-c Archivo de configuración

3. Train

Entrenamiento acondicionado en Mel-Spectrogram

 python train . py - i data / feature - o checkpoints / - - config config / config . yaml

-i carpeta de características acústicas

-o Directorio para guardar puntos de control

-c Archivo de configuración

4. Inferencia

 python inference . py - i data / feature - o outputs /  - c checkpoints / * . pkl - g config / config . yaml

-i carpeta de características acústicas

-o Directorio para salvar el discurso generado

-c archivo de puntos de control

-c Archivo de configuración

5. Síntesis de voz de canto

Para cantar síntesis de voz:

• Tome FastSpeech 2 modificado para la síntesis de espectrograma MEL
• Use espectrograma MEL sintetizado en múltiples singer para la síntesis de forma de onda.

Control

Entrenado en OpenSinger

Expresiones de gratitud

Ge2e
FastSpeech 2
Wavan paralelo

Citación

 @inproceedings{huang2021multi,
  title={Multi-Singer: Fast Multi-Singer Singing Voice Vocoder With A Large-Scale Corpus},
  author={Huang, Rongjie and Chen, Feiyang and Ren, Yi and Liu, Jinglin and Cui, Chenye and Zhao, Zhou},
  booktitle={Proceedings of the 29th ACM International Conference on Multimedia},
  pages={3945--3954},
  year={2021}
}

Pregunta

No dude en ponerse en contacto conmigo en [email protected]