magphase

Magphase Vocoder

Sprachanalyse/Synthesesystem für TTs und verwandte Anwendungen.

Diese Software basiert auf der im Papier beschriebenen Methode:

F. Espic, C. Valentini-Botinhao und S. King, „Direktmodellierung von Größe und Phasenspektren für die statistische parametrische Sprachsynthese“ in Proc. Interspeech, Stockholm, Schweden, August 2017.

@ Autor: Felipe Espic

Weitere Informationen unter http://www.felipeespic.com/magphase/

I. Neu in Version 2.0 (April 2018)

• Konstante Rahmen-Rate-Unterstützung.
• Verbesserte Klangqualität.
• Zwei Arten von Nachfilter verfügbar.
• Wählbare Anzahl der Koeffizienten für Phasenmerkmale ( real und bild ).
• Auswahlbare Anzahl der Koeffizienten für die Größenfunktion ( MAG ).

Ii. Beschreibung

Dies ist ein Sprachwellenformanalyse/Synthese -System, das in der statistischen parametrischen Sprachsynthese (SPSS) verwendet wird.

Das Analysemodul extrahiert vier Merkmalsströme, die Größenspektren, Phasenspektren und F0 beschreiben. Diese Merkmale können verwendet werden, um ein Regressionsmodell (z. B. DNN, LSTM, Hmm usw.) zu trainieren, sodass vorhergesagte Werte erzeugt werden können. Das Synthesemodul nimmt diese Merkmale am Eingang an, um die endgültige synthetisierte Wellenform zu erzeugen.

Schlüsselpunkte:

• Vermeiden Sie Schätzschritte so weit wie möglich (keine Aperiodizitäten, spektrale Hüllkurven oder Schätzung der Harmonischen usw.)
• Robuste Extraktion und Modellierung von Phasenspektren (herkömmliche Vocoder erzeugen nur eine künstliche Phase am Ausgang).
• Es ist kein Phasen -Auspacken erforderlich.
• Verwendet schnelle Operationen während der Synthese (z. B. FFT, PSola).
• Bemerkenswerterweise reduziert typische "Summe" und "Phasiness".
• Viele andere Anwendungen und Verbesserungen wurden noch nicht untersucht.

III. Lizenz:

Weitere Informationen finden Sie in der Lizenzdatei.

Iv. Anforderungen:

• OS: Linux (macOSX kommt bald)
• Python 2.7
• Python -Pakete: Numpy, Scipy, Soundfile, Matplotlib

V. Installieren:

1. Installieren Sie Pyhton 2.7 und die Pakete, die mit dem Paketmanager Ihrer Distribution oder mithilfe des Befehlspip (empfohlen) erforderlich sind. z.B,

 pip install numpy scipy soundfile matplotlib

2. Download Magphase: git clone https://github.com/CSTR-Edinburgh/magphase.git

3. Download und kompilieren Sie SPTK und Reaper von:

 cd magphase/tools
./download_and_compile_tools.sh

Dies wird SPTK und Reaper automatisch für Sie kompilieren und konfigurieren ... und das war's!

Vi. Verwendung:

Gehen Sie einfach zu /demos , lesen Sie die Anweisungen in den Demo -Skripten, die sehr deaktiviert sind. Sie sollten aus der Box laufen, indem sie python <demo_script> ausgeführt haben.

Wir empfehlen, dass Sie zuerst mit demo_copy_synthesis_lossless.py und dann mit demo_copy_synthesis_low_dim.py spielen. Beide führen Analyse-/Syntheseroutinen durch.

Dann können Sie die Demo -Skripte so ändern, dass sie Ihren Anforderungen entsprechen.

Hinweis: Denken Sie nur daran, die Skripte von ihren Standorten auszuführen.

Vii. Verwenden Sie Magphase mit dem Merlin -Toolkit:

Wir bieten zwei Demos, die mit der offiziellen Verteilung des Merlin verteilt sind. Diese zeigen Beispiele für Merlin mit Magphase -Integration:

• Text-to-Speech: Merlins SLT_ARCTIC-Demo (kleine und vollständige Untergruppenversionen)

• Voice Conversion: Merlins Sprachumwandlungsdemo (grob getestet)

Viii. Kolaboration:

Wir brauchen Hilfe, um diese Software zu verbessern. Sie können mit:

• Bauen von TTS -Stimmen mit Merlin und Magphase und vergleichen Sie sie mit anderen Vocoder, z. B. Welt. Dann teilen Sie uns bitte Ihre Ergebnisse mit. Wir haben Magphase nur mit ein paar Stimmen getestet und es ist erforderlich, um eine breitere Reichweite abzudecken. Wir haben kürzlich einige Fehler behoben, die dank Personen, die ihre Ergebnisse mit neuen Daten gemeldet haben, herausgekommen.

• Implementierung der Unterstützung der nativen variablen Bildrate in Merlin. Magphase funktioniert in einer variablen Bildrate (Tonhöhe synchron).