tf diffwave

tf-diffwave

Implementación (no oficial) TensorFlow de Diffwave (Zhifeng Kong et al., 2020)

• Diffwave: un modelo de difusión versátil para la síntesis de audio, Zhifeng Kong et al., 2020. [Arxiv: 2009.09761]

Requisitos

Probado en el entorno de python 3.7.3 conda, requisitos.txt

Uso

Para descargar el conjunto de datos LJ-speech, ejecute en script.

El conjunto de datos se descargará en '~/tensorflow_datasets' en formato TFRecord. Si desea cambiar el directorio de descarga, especifique el parámetro data_dir del inicializador LJSpeech .

 from dataset import LJSpeech
from dataset . config import Config

config = Config ()
# lj = LJSpeech(config, data_dir=path, download=True)
lj = LJSpeech ( config , download = True ) 

Para entrenar modelo, ejecute Train.py.

Checkpoint se escribirá en TrainConfig.ckpt , resumen de Tensorboard en TrainConfig.log .

python train.py
tensorboard --logdir ./log/

Si desea entrenar el modelo desde RAW Audio, especifique el directorio de audio y encienda el indicador --from-raw .

python . t rain.py --data-dir D: L JSpeech-1.1 w avs --from-raw

Para comenzar a entrenar desde el punto de control anterior, --load-step está disponible.

python . t rain.py --load-step 416 --config ./ckpt/q1.json

Para experimentos, referencia expr.ipynb.

Para el conjunto de pruebas de inferencia, ejecute Inference.py.

python . i nference.py

Los puntos de control previos al detenido se frenan en las versiones.

Para usar el modelo de petróleo, descargar archivos y descomponerlo. Consulte el repositorio de git para las etiquetas de confirmación adecuadas y los seguidores son script de muestra.

 with open ( 'l1.json' ) as f :
    config = Config . load ( json . load ( f ))

diffwave = DiffWave ( config . model )
diffwave . restore ( './l1/l1_1000000.ckpt-1' ). expect_partial ()

Curva de aprendizaje

Res. Channels = 64, t = 20, entrenar 1 m pasos.

Muestras

Referencia https://revsic.github.io/tf-diffwave.