Multi Singer

Multi-chanteur: Vocage de chant à chanteur multiple rapide avec un corpus à grande échelle

Pytorch Implémentation de (ACM MM'21) Multi-monteur: Vocage de chant à chanteur multiples rapide avec un corpus à grande échelle.

Exigences

Voir les exigences dans les besoins.txt:

• linux
• Python 3.6
• pytorch 1.0+
• bibliothèque
• JSON, TQDM, journalisation

Commencer

Appliquer une recette à votre propre ensemble de données

• Mettez tous les fichiers WAV dans le répertoire de données
• Modifier la configuration dans config / config.yaml

1. Pretrain

Utilisez notre point de contrôle, ou
Vous pouvez également former le codeur par vous-même ici et définir l' enc_model_fpath dans config / config.yaml. Veuillez définir les paramètres comme ceux de encoder/params_data et encoder/params_model .

2. Prétraitement

Extraire du spectrogramme de MEL

 python preprocess . py - i data / wavs - o data / feature - c config / config . yaml

-i votre dossier audio

-o dossier de fonctionnalité acoustique de sortie

Fichier de configuration -c

3. Train

Formation conditionnée sur le spectrogramme MEL

 python train . py - i data / feature - o checkpoints / - - config config / config . yaml

-i dossier de fonctionnalité acoustique

-o répertoire pour enregistrer les points de contrôle

Fichier de configuration -c

4. Inférence

 python inference . py - i data / feature - o outputs /  - c checkpoints / * . pkl - g config / config . yaml

-i dossier de fonctionnalité acoustique

-o répertoire pour enregistrer le discours généré

-c fichier de points de contrôle

Fichier de configuration -c

5. Singing vocal Synthesis

Pour chanter la synthèse vocale:

• Prenez Modified FastSpeech 2 pour la synthèse de Spectrogramme Mel
• Utiliser le spectrogramme de MEL synthétisé dans le multi-monteur pour la synthèse des formes d'onde.

Point de contrôle

Formé sur OpenSinger

Remerciements

Ge2e
FastSpeech 2
Wavegan parallèle

Citation

 @inproceedings{huang2021multi,
  title={Multi-Singer: Fast Multi-Singer Singing Voice Vocoder With A Large-Scale Corpus},
  author={Huang, Rongjie and Chen, Feiyang and Ren, Yi and Liu, Jinglin and Cui, Chenye and Zhao, Zhou},
  booktitle={Proceedings of the 29th ACM International Conference on Multimedia},
  pages={3945--3954},
  year={2021}
}

Question

N'hésitez pas à me contacter à [email protected]