MelNet

Melnet

Implémentation de Melnet: un modèle génératif de l'audio dans le domaine fréquentiel

Condition préalable

• Testé avec Python 3.6.8 & 3.7.4, Pytorch 1.2.0 & 1.3.0.
• pip install -r requirements.txt

Comment s'entraîner

Ensembles de données

• Blizzard, Voxceleb2 et KSS ont des fichiers YAML fournis sous config/ . Pour d'autres ensembles de données, remplissez votre propre fichier YAML selon les autres fournis.
• Une formation inconditionnelle est possible pour toutes sortes d'ensembles de données, à condition qu'ils aient une extension de fichier cohérente spécifiée par data.extension dans le fichier YAML.
• La formation conditionnelle n'est actuellement mise en œuvre que pour KSS et un sous-ensemble de l'ensemble de données Blizzard.

Exécution du code

• python trainer.py -c [config YAML file path] -n [name of run] -t [tier number] -b [batch size] -s [TTS]
  • Chaque niveau peut être formé séparément. Étant donné que chaque niveau est plus grand que celui avant lui (à l'exception du niveau 1), modifiez la taille du lot pour chaque niveau.
    • Le niveau 6 de l'ensemble de données Blizzard ne tient pas sur un P100 de 16 Go, même avec une taille de lot de 1.
  • Le drapeau -s est un booléen pour déterminer s'il faut former un niveau TTS. Étant donné qu'un niveau TTS diffère uniquement au niveau 1, ce drapeau est ignoré lorsque [tier number] != 0 . AVERTISSEMENT: Ce drapeau est basculé True peu importe ce qui suit le drapeau. Ignorez-le si vous ne prévoyez pas de l'utiliser.

Comment échantillonner

Préparer les points de contrôle

• Les points de contrôle doivent être stockés sous chkpt/ .
• Un fichier YAML nommé inference.yaml doit être fourni sous config/ .
• inference.yaml doit spécifier le nombre de niveaux, les noms des points de contrôle et s'il s'agit ou non d'une génération conditionnelle.

Exécution du code

• python inference.py -c [config YAML file path] -p [inference YAML file path] -t [timestep of generated mel spectrogram] -n [name of sample] -i [input sentence for conditional generation]
  • Le stephe-horlier fait référence à la longueur du spectrogramme MEL. Le rapport de l'horodatage en secondes est à peu près [sample rate] : [hop length of FFT] .
  • Le drapeau -i est facultatif, uniquement nécessaire pour la génération conditionnelle. Entourez la phrase de "" et terminez avec . .
  • La génération inconditionnelle et la génération conditionnelle ne soutiennent actuellement pas la génération amorcée (extrapolation à partir de données fournies).

Faire

• Implémenter la procédure d'échantillonnage
• Échantillonnage GMM + fonction de perte
• Génération audio inconditionnelle
• Synthèse TTS
• Journalisation du Tensorboard
• Formation multi-GPU
• Génération amorcée

Auteurs d'implémentation

• Park Seungwon, June Young Yi, Yoonhyung Lee, Joowhan Song @ Saison la plus profonde 6

Licence

Licence MIT