MelNet

Meldung

Implementierung von Meldung: Ein generatives Modell für Audio in der Frequenzdomäne

Voraussetzungen

• Getestet mit Python 3.6.8 & 3.7.4, Pytorch 1.2.0 & 1.3.0.
• pip install -r requirements.txt

Wie man trainiert

Datensätze

• Blizzard, Voxceleb2 und KSS haben YAML -Dateien unter config/ bereitgestellt. Füllen Sie für andere Datensätze Ihre eigene YAML -Datei gemäß den anderen bereitgestellten aus.
• Für alle Arten von Datensätzen ist eine bedingungslose Schulung möglich, vorausgesetzt, sie haben eine konsistente Dateierweiterung, die durch data.extension angegeben ist
• Die bedingte Schulung wird derzeit nur für KSS und eine Teilmenge des Blizzard -Datensatzes implementiert.

Ausführen des Codes

• python trainer.py -c [config YAML file path] -n [name of run] -t [tier number] -b [batch size] -s [TTS]
  • Jede Stufe kann separat trainiert werden. Da jede Stufe größer als die vor ihm ist (mit Ausnahme von Tier 1), ändern Sie die Chargengröße für jede Stufe.
    • Tier 6 des Blizzard -Datensatzes passt nicht in einen 16 -GB -P100, selbst mit einer Chargengröße von 1.
  • Die -s -Flagge ist ein Booleschen, um festzustellen, ob eine TTS -Stufe trainiert werden soll. Da sich eine TTS -Stufe nur in Tier 1 unterscheidet, wird diese Flagge ignoriert, wenn [tier number] != 0 . WARNUNG: Diese Flagge ist True umgeschaltet, egal was der Flagge folgt. Ignorieren Sie es, wenn Sie nicht planen, es zu verwenden.

Wie man probiert

Vorbereitung der Kontrollpunkte

• Die Kontrollpunkte müssen unter chkpt/ gespeichert werden.
• Eine YAML -Datei mit dem Namen inference.yaml muss unter config/ bereitgestellt werden.
• inference.yaml muss die Anzahl der Ebenen, die Namen der Kontrollpunkte und ob es sich um eine bedingte Generation handelt oder nicht, angeben.

Ausführen des Codes

• python inference.py -c [config YAML file path] -p [inference YAML file path] -t [timestep of generated mel spectrogram] -n [name of sample] -i [input sentence for conditional generation]
  • Der Zeitschritt bezieht sich auf die Länge des Mel -Spektrogramms. Das Verhältnis von Zeitschritt zu Sekunden ist ungefähr [sample rate] : [hop length of FFT] .
  • Das -i -Flag ist optional und nur für die bedingte Generation benötigt. Umgeben Sie den Satz mit "" und enden Sie mit . .
  • Sowohl die bedingungslose Erzeugung als auch die bedingte Erzeugung unterstützen derzeit keine Primed -Generation (extrapolieren von bereitgestellten Daten).

Aufgabe

• Implementieren Sie das Upsampling -Verfahren
• GMM -Abtastung + Verlustfunktion
• Bedingungslose Audiogenerierung
• TTS -Synthese
• Tensorboard -Protokollierung
• Multi-GPU-Training
• Primierte Generation

Implementierung Autoren

• Seungwon Park, June Young Yi, Yoonhyung Lee, Jooowhan Song @ Deeptest Staffel 6

Lizenz

MIT -Lizenz