tf glow tts

TF-Glow-TTS

(No oficial) Implementación del flujo tensor de GLOW TTS, Jaehyeon Kim et al., En Neurips 2020.

• Glow-TTS: un flujo generativo para texto a voz a través de la búsqueda de alineación monotónica [ARXIV: 2005.11129]
• El código completo se basa en el repositorio original de GitHub Jaywalnut310/Glow-TTS

Requisitos

Probado en Python 3.8.5 Windows10 CondA Entorno, requisitos.txt

Uso

Para descargar el conjunto de datos LJ-speech, ejecute en script.

El conjunto de datos se descargará en '~/tensorflow_datasets' en formato TFRecord. Si desea cambiar el directorio de descarga, especifique el parámetro data_dir del inicializador LJSpeech .

 from dataset . ljspeech import LJSpeech

# lj = LJSpeech(data_dir=path, download=True)
lj = LJSpeech ( download = True ) 

Para entrenar modelo, ejecute Train.py.

Checkpoint se escribirá en TrainConfig.ckpt , resumen de Tensorboard en TrainConfig.log .

python train.py
tensorboard --logdir . l og

Si desea entrenar el modelo desde RAW Audio, especifique el directorio de audio y encienda el indicador --from-raw .

python . t rain.py --data-dir D: L JSpeech-1.1 w avs --from-raw

Para comenzar a entrenar desde el punto de control anterior, --load-epoch está disponible.

python . t rain.py --load-epoch 20 --config D: t f c kpt g lowtts.json

Para inferir el audio, ejecute Inference.py.
Dado que este código es para POC, solo hay alfabetos y varios caracteres especiales disponibles, referencia textnormalizer.graphemes.

python . i nference.py
    --config D: t f c kpt g lowtts.json
    --ckpt D: t f c kpt g lowtts g lowtts_20.ckpt-1
    --text " Hello, my name is revsic "

Los puntos de control previos al detenido se frenan en las versiones.

Para usar el modelo de petróleo, descargar archivos y descomponerlo. Los siguientes son script de muestra.

 from config import Config
from glowtts import GlowTTS

with open ( 'glowtts.json' ) as f :
    config = Config . load ( json . load ( f ))

tts = GlowTTS ( config . model )
tts . restore ( './glowtts_20.ckpt-1' ). expect_partial ()

Curva de aprendizaje

Train ljspeech 20 épocas con tf-diffwave

Muestras

Referencia https://revsic.github.io/tf-glow-tts.