Conditional SpecGAN Tensorflow

Bedingte Spekan

Ein (bedingtes) Audio -Synthese generatives kontroverses Netzwerk, das Spektrogramm erzeugt, das die Implementierung von Rohwellenform im Tensorflow weiter synthetisieren.

Anforderungen:

• Tensorflow R1.10.1
• Python 3.6
• Numpy 1.14.5
• Librosa 0,6.2
• TQDM 4.26.0
• Matplotlib 2.2.3

Einführung

Text-to-Speech-Synthese durch Generierung von Spektrogrammen mit dem generativen kontroversen Netzwerk. Diese Arbeit basiert auf der ursprünglichen Implementierung von Spekan, wo ich das Spekan -Training von Konditionierungen weiter untersuche. Darüber hinaus wird ein energiebasiertes Datenvorverarbeitungsschema angewendet, was zu einer Verbesserung der Audioqualität führt.

Das Vorverarbeitungsergebnis kann durch die folgende Visualisierung demonstriert werden:

Datensatz erstellen

• Laden Sie Trainingsdaten herunter: Hier

• Rennen Sie './src/utils/preprocess_data.py', um Daten zu verarbeiten oder die verarbeiteten Daten herunterzuladen: hier

• Rennen Sie './src/utils/visualize_wav.py', um die verarbeiteten sauberen Daten zu visualisieren oder die Ergebnisse herunterzuladen: hier

• Rennen Sie './src/utils/make_tfrecord.py', um .wav -Dateien in .tfrecord Training Ready -Dateien zu verarbeiten, oder laden Sie die verarbeiteten Daten herunter: hier

• Extrahieren Sie die .tgz -Datei in Schritt.4 und legen Sie sie gemäß args.data_dir in ./src/config.py auf den relevanten Pfad:

 data_dir='../data/sc09_preprocess_energy'

Dieser Standardpfad kann geändert werden, indem die Option '--data_dir in' ./src/config.py 'geändert wird.

Verwendung

• Lebenslauf oder trainieren Sie ein neues Spekan -Modell durch den folgenden Befehl:

 python3 ./src/runner.py train

• Verwenden Sie den folgenden Befehl, um zu inferenzieren und von einem geschulten Spekan -Modell zu erzeugen:

 python3 ./src/runner.py generate

• Verwenden Sie den folgenden Befehl, um aus einem bedingten Spezian zu trainieren oder zu generieren ( Hinweis: Diese Funktion ist noch implementiert und ist nicht vollständig! ):

 python3 ./src/runner.py train --conditional
python3 ./src/runner.py generate --conditional