tacotron2 tts GUI

GUI -Arbeit in Arbeit (Update 4. August 2020)

GUI -Wrapper für Synthese. Ermöglicht die CPU-Synthese nur über einen schaltbaren Schalter. Die portable EXE -Datei ist verfügbar (die nur auf CPU ausgeführt wird).

Spielt auch TTS -Spenden von Stream -Elementen.

Haupt Benutzeroberfläche	Stream -Elemente -Integration

Überblick

Ein maschinelles Lernen basierter Text zu Sprachprogramm mit einer benutzerfreundlichen GUI. Zu den Zielgruppen gehören Twitch -Streamer oder Inhaltsersteller, die nach einem Open -Source -TTS -Programm suchen. Ziel dieser Software ist es, die TTS -Synthese in einem tragbaren Exe (keine Codierungserfahrung, GPU/Colab) zugänglich zu machen.

Merkmale

• Liest Spenden von Stream -Elementen automatisch
• PYQT5 -Wrapper für Nvidia /Tacotron2 & /Wellenlow

Link herunterladen

Eine tragbare ausführbare Datei finden Sie auf der Seite "Releases" oder direkt hier. Laden Sie ein vorgepresstes Tacotron 2- und WaveGlow -Modell von unten herunter.

WARNUNG: Die tragbare ausführbare Datei läuft auf der CPU, was zu einer 10 -fachen Geschwindigkeitsverschwendung im Vergleich zum Ausführen von GPU führt.

Gebäude aus der Quelle

Anforderungen

• Python> = 3,7
• Librosa
• Numpy
• Pyqt5 == 5.15.0
• Anfragen
• tqdm
• Matplotlib
• Scipy
• Num2Words
• Pygame

Pytorch 1.0

Rennen

 python gui.py

Lizenz

• NVIDIA/TACOTRON2 & WAVELGLOW: BSD-3-Klausel-Lizenz

Notizen

• TTS -Code von Nvidia/Tacotron2
• Partieller GUI-Code von https://github.com/corentinj/real-time-voice-coning und layout, inspiriert von u/realstreamers Forsen tts https://www.youtube.com/watch?v=KL2TGLBCDCO

Original Repo:

Tacotron 2 (ohne Wavenet)

Pytorch -Implementierung der natürlichen TTS -Synthese durch Konditionierung von Wellenzahlen auf Mel -Spektrogram -Vorhersagen.

Diese Implementierung umfasst verteilte und automatische Unterstützung mit gemischter Präzision und verwendet den LJSpeech -Datensatz.

Die verteilte und automatische Unterstützung gemischter Präzision beruht auf Nvidia's Apex und AMP.

Besuchen Sie unsere Website für Audio -Beispiele mit unseren veröffentlichten Modellen Tacotron 2 und WaveGlow.

Voraussetzungen

1. Nvidia gpu + cuda cudnn

Aufstellen

1. Laden Sie den LJ -Sprachdatensatz herunter und extrahieren Sie
2. Klon dieses Repo: git clone https://github.com/NVIDIA/tacotron2.git
3. CD in dieses Repo: cd tacotron2
4. Submodul initialisieren: git submodule init; git submodule update
5. Update .wav -Pfade: sed -i -- 's,DUMMY,ljs_dataset_folder/wavs,g' filelists/*.txt
   • Alternativ laden Sie load_mel_from_disk=True in hparams.py ein und aktualisieren Sie die Melspektrogrammpfade
6. Installieren Sie Pytorch 1.0
7. Apex installieren
8. Installieren Sie die Python -Anforderungen oder erstellen Sie das Docker -Bild
   • Installieren Sie die Python -Anforderungen: pip install -r requirements.txt

Ausbildung

1. python train.py --output_directory=outdir --log_directory=logdir
2. (Optional) tensorboard --logdir=outdir/logdir

Training mit einem vorgebildeten Modell

Das Training unter Verwendung eines vorgeborenen Modells kann standardmäßig zu einer schnelleren Konvergenz führen. Der Datensatz-abhängige Texteinbettungsschichten wird ignoriert

1. Laden Sie unser veröffentlichtes Tacotron 2 -Modell herunter
2. python train.py --output_directory=outdir --log_directory=logdir -c tacotron2_statedict.pt --warm_start

Multi-GPU (verteilt) und automatisches Training mit gemischter Präzision

1. python -m multiproc train.py --output_directory=outdir --log_directory=logdir --hparams=distributed_run=True,fp16_run=True

Inferenzdemo

1. Laden Sie unser veröffentlichtes Tacotron 2 -Modell herunter
2. Laden Sie unser veröffentlichtes Waveglow -Modell herunter
3. jupyter notebook --ip=127.0.0.1 --port=31337
4. Last inference.ipynb

NB bei der Durchführung von Melspektrogrammen zur Audio-Synthese stellen Sie sicher, dass Tacotron 2 und der MEL-Decoder auf derselben Melspektrogram-Darstellung trainiert wurden.

Verwandte Repos

Wellenlow schneller als in Echtzeit flow-basierte generative Netzwerk für die Sprachsynthese

NV-Wavenet schneller als Echtzeit-Wellenet.

Anerkennung

Diese Implementierung verwendet Code aus den folgenden Repos: Keith Ito, Prem Seetharaman, wie in unserem Code beschrieben.

Wir lassen uns von Ryuchi Yamamotos Tacotron Pytorch -Implementierung inspirieren.

Wir sind den Tacotron 2 -Papierautoren dankbar, insbesondere Jonathan Shen, Yuxuan Wang und Zongheng Yang.