Conditional SpecGAN Tensorflow

Specgan conditionnel

Un réseau adversaire génératif de synthèse audio (conditionnelle) qui génère du spectrogramme, qui synthétise plus la forme d'onde brute, implémentation dans TensorFlow.

Exigences:

• Tensorflow R1.10.1
• Python 3.6
• Numpy 1.14.5
• Librosa 0.6.2
• TQDM 4.26.0
• Matplotlib 2.2.3

Introduction

Synthèse de texte vocal en générant des spectrogrammes en utilisant un réseau adversaire génératif. Ce travail est basé sur la mise en œuvre originale de Specgan, où j'explore en plus sur la formation de condition Specgan. De plus, un schéma de prétraitement des données basé sur l'énergie est appliqué, ce qui entraîne une amélioration de la qualité audio.

Le résultat du prétraitement peut être démontré par la visualisation suivante:

Créer un ensemble de données

• Télécharger les données de formation: ici

• Exécuter './src/utils/preprocess_data.py' pour traiter les données ou télécharger les données traitées: ici

• Exécuter './src/utils/visualize_wav.py' pour visualiser les données nettoyantes traitées ou télécharger les résultats: ici

• Exécuter './src/utils/make_tfrecord.py' pour traiter les fichiers .wav dans .tfrecord Training Ready Files, ou télécharger les données traitées: ici

• Extraire le fichier .tgz dans Step.4 et les placer sur le chemin pertinent selon args.data_dir dans ./src/config.py:

 data_dir='../data/sc09_preprocess_energy'

Ce chemin par défaut peut être modifié en modifiant l'option '--data_dir dans' ./src/config.py '.

Usage

• Reprendre ou entraîner un nouveau modèle Specgan par la commande suivante:

 python3 ./src/runner.py train

• Pour inférer et générer à partir d'un modèle Specgan formé, utilisez la commande suivante:

 python3 ./src/runner.py generate

• Pour s'entraîner ou générer à partir d'un Specgan conditionnel, utilisez la commande suivante ( Remarque: Cette fonctionnalité est toujours sous l'implémentation et n'est pas complète! ):

 python3 ./src/runner.py train --conditional
python3 ./src/runner.py generate --conditional