Transformer Text To Speech

Transformatortext zur Sprache

Ein TTS-System (Text-to-Speech) wandelt einen normalen Sprachtext in Sprache um; Andere Systeme machen symbolische sprachliche Darstellungen wie phonetische Transkriptionen in Sprache. Mit der jüngsten Entwicklung in Deep Learning ist es möglich, Text in eine menschlich verständliche Stimme umzuwandeln. Zu diesem Zweck wird der Text in ein neuronales Netzwerk vom Encoder-Decoder-Typ eingespeist, um ein Melspektogramm auszugeben. Dieses melspektrogramm kann nun verwendet werden, um Audio mit dem "Griffin-Lim-Algorithmus" zu generieren. Aufgrund seines Nachteils, dass es nicht in der Lage ist, eine menschliche Sprachqualität zu erzeugen, wird ein weiteres neuronales Netz namens Wavenet verwendet, das von Melspektrogramm gefüttert wird, um Audio zu produzieren, das selbst ein Mensch nicht in der Lage ist, sich auseinander zu differenzieren.

Modellarchitektur

1. Transformator TTS

• Eine Encoder-Decoder-Transformatorarchitektur für paralleles Training stattdessen für das SEQ2SEQ-Training für Tacotron-2.
• Text werden als Eingabe gesendet und das Modell gibt ein Melspektogramm aus.
• Mehrköpfige Aufmerksamkeit wird verwendet, wobei die kausale Maskierung nur auf der Decoder-Seite maskiert wird.
• Papier: Neuronale Sprachsynthese mit Transformator -Netzwerk.

2. Wavenet

*

• Die Ausgabe der Transformator-TTs (Melspektogramm) wird in das Wellenet eingespeist, um Audioproben zu erzeugen.
• Im Gegensatz zu SEQ2SEQ -Modellen ermöglicht Wavenet auch paralleles Training.
• Papier: Wavenet: Ein generatives Modell für RAW -Audio.

Datensatzinformationen

Das Modell wurde auf einer Untergruppe von WMT-2014 Englisch-German-Datensatz trainiert. Die Vorverarbeitung wurde vor dem Training des Modells durchgeführt.
Datensatz: https://keithito.com/lj-speech-dataset/