Transformer Text To Speech

Texto del transformador al habla

Un sistema de texto a voz (TTS) convierte el texto del lenguaje normal en habla; Otros sistemas hacen que las representaciones lingüísticas simbólicas como las transcripciones fonéticas en el habla. Ahora, con el desarrollo reciente en el aprendizaje profundo, es posible convertir el texto en una voz que se puede ser humano. Para esto, el texto se alimenta a una red neuronal de tipo codificador de decodificador para generar un espectrograma MEL. Este espectrograma MEL ahora se puede usar para generar audio utilizando el "Algoritmo Griffin-Lim". Pero debido a su desventaja de que no es capaz de producir una calidad del habla como el humano, se emplea otra red neuronal llamada Wavenet, que se alimenta por el espectrograma MEL para producir audio que incluso un humano no puede diferenciar aparte.

Arquitectura modelo

1. Transformador TTS

• Una arquitectura del transformador de codificador codificador para el entrenamiento paralelo en su lugar para el entrenamiento SEQ2SEQ en caso de tacotron-2.
• El texto se envía como entrada y el modelo genera un espectrograma MEL.
• Se emplea una atención de varias cabezas, con un enmascaramiento causal solo en el lado del decodificador.
• Documento: Síntesis de discurso neural con la red Transformer.

2. Wavenet

*

• La salida del transformador TTS (espectrograma MEL) se alimenta al wavenet para generar muestras de audio.
• A diferencia de los modelos SEQ2SEQ, Wavenet también permite el entrenamiento paralelo.
• Documento: Wavenet: un modelo generativo para audio sin procesar.

Información del conjunto de datos

El modelo fue entrenado en un subconjunto de conjunto de datos en inglés WMT-2014 en inglés. El preprocesamiento se llevó a cabo antes de entrenar el modelo.
Conjunto de datos: https://keithito.com/lj-speech-dataset/