TensorVox

Tensorvox

Tensorvox ist eine Anwendung, die die benutzerfreundliche und leichte neuronale Sprachsynthese auf dem Desktop ermöglicht, um die Zugänglichkeit für solche Technologien zu verbessern.

Hauptsächlich von TensorFlowtts und auch von Coqui-TTs und Vits angetrieben, wird es in reinem C ++/QT geschrieben, wobei der Tensorflow C API zum Interagieren mit Tensorflow-Modellen (erste zwei) und LIBTORCH für Pytorch-Modelle verwendet wird. Auf diese Weise können wir Inferenz ausführen, ohne Python -Bibliotheken im Wert von Gigabyte installieren zu müssen, nur ein paar DLLs.

Probieren Sie es aus

Detaillierte Anleitung in Google Docs

Nehmen Sie eine Kopie aus den Veröffentlichungen, extrahieren Sie den .zip und überprüfen Sie den Google Drive -Ordner auf Modelle und Installationsanweisungen

Wenn Sie Ihr eigenes Modell verwenden möchten, müssen Sie zuerst trainieren und exportieren Sie es.

Unterstützte Architekturen

Tensorvox unterstützt Modelle aus drei Repos:

• Tensorflowtts : Fastspeech2, Tacotron2, Charch- und Phonem-basierte und Multi-Band-Melgan. Hier ist ein Colab-Notizbuch, das demonstriert, wie das ljspeech-vorgeläutete, char-basierte Tacotron2-Modell exportiert wird:
• Coqui-TTS: Tacotron2 (Phonem-basierte IPA) und Multi-Band-Melgan, nachdem sie von Pytorch in TensorFlow konvertiert wurden. Hier ist ein Notizbuch, das zeigt, wie das LJSpeech -DDC -Modell exportiert wird:
• Jaywalnut310/vits: vits, ein vollständig E2E -Modell. (Gestresstes IPA als Phoneme) Notizbuch exportieren:

Diese beiden Beispiele sollten Ihnen genügend Anleitung geben, um zu verstehen, was benötigt wird. Wenn Sie ein Modell speziell für diesen Zweck trainieren möchten, empfehle ich TensorFlowtts, da es die beste Unterstützung und Vits ist, da es die perfekte Sache ist wie bei Sprachen, außerhalb des Box-Supports für Englisch (Coqui und TFTTS, Vits), German und Spanier (nur Tensorflowtts); Das heißt, Sie müssen nichts tun. Sie können Sprachen hinzufügen, ohne den Code zu ändern, solange das Phonem -Set IPA (gestresst oder nicht gestresst), ARPA oder GlobalPhone sind (öffnen Sie ein Problem und ich werde es Ihnen erklären)

Anweisungen erstellen

Derzeit wird nur Windows 10 x64 (obwohl ich berichtet habe, dass es auf 8.1 läuft) unterstützt.

Anforderungen:

1. QT -Schöpfer
2. MSVC 2017 (V141) Compiler

Primed Build (mit allen bereitgestellten Bibliotheken):

1. Download vorkompilierte binäre Abhängigkeiten und schließt ein
2. Entpacken Sie es so, dass sich der deps -Ordner an der gleichen Stelle wie die Dateien .Pro und Hauptquellen befindet.
3. Öffnen Sie das Projekt mit QT Creator, fügen Sie Ihren Compiler hinzu und kompilieren Sie sie

Beachten Sie, dass Sie, um Ihre glänzende neue ausführbare Datei auszuprobieren, eine Veröffentlichung des Programms wie oben beschrieben herunterladen und die ausführbare Datei in dieser Version durch Ihre neue ersetzen müssen, damit Sie alle DLLs vorhanden haben.

TODO: Fügen Sie Anweisungen zum Kompilieren von Grund auf.

EXTERNALS (und danke)

• Libtorch : https://pytorch.org/cppdocs/installing.html

• TensorFlow C API : https://www.tensorflow.org/install/lang_c

• CPPFlow (TF C API -> C ++ Wrapper): https://github.com/serizba/cppflow

• AudioFile (für den WAV -Export): https://github.com/adamstark/audioFile

• Frameless Dark Style-Fenster : https://github.com/jorgen-vicinggod/qt-frameless-window-darkstyle

• JSON für moderne C ++ : https://github.com/nlohmann/json

• R8BRAIN-FREE-SRC (Resampling): https://github.com/avaneev/r8brain-free-src

• rnnoise (cmake Version, Denoising-Ausgabe): https://github.com/almogh52/rnnoise-cmake

• Logitech LED-Illumination SDK (Maus-RGB-Integration): https://www.logitechg.com/en-us/innovation/developer-lab.html

• Qcustomplot : https://www.qcustomplot.com/index.php/Introduction

• libnumbertext : https://github.com/numbertext/libnumbertext

Kontakt

Sie können hier ein Problem öffnen oder sich dem Discord -Server anschließen und dort alles diskutieren/fragen

Für Medien-/Lizenz-/andere formelle Anfragen senden Sie diese E -Mail an: [email protected]

Hinweis zur Lizenzierung

Dieses Programm selbst ist MIT lizenziert, aber für die von Ihnen verwendeten Modelle gelten ihre Lizenzbedingungen. Wenn Sie beispielsweise in Vietnam sind und TensorFlowtts -Modelle verwenden, müssen Sie hier nach einigen Details nachsehen