cs224n gpu that talks

Atención, estoy tratando de hablar: síntesis del habla de extremo a extremo (CS224N '18)

Implementación de un modelo de texto a voz basado en SEQ2SEQ convolucional basado en Tachibana ET. Alabama. (2017). Dada una secuencia de caracteres, el modelo predice una secuencia de marcos de espectrograma en dos etapas (Text2Mel y SSRN).

Como se discutió en el informe, podemos obtener una calidad de audio bastante decente con Text2Mel capacitado para 60k pasos, SSRN para 100k pasos. Esto corresponde a aproximadamente (6+12) horas de entrenamiento en un solo GPU Tesla K80 en el conjunto de datos de discurso LJ.

Modelo previo a la aparición : [Descargar] Muestras : [Base-Modelo-M4] [Decodificador sin supervisión-M1]

Para más detalles, consulte: Documento de carteles

Uso:

Estructura de directorio

 - runs (contains checkpoints and params.json file for each different run. params.json specifies various hyperameters: see params-examples folder)
    - run1/params.json ...
 - src (implementation code package)
 - sentences (contains test sentences in .txt files)
 
train.py
evaluate.py
synthesize.py

../data (directory containing data in format below)
 - FOLDER
    - train.csv, val.csv (files containing [wav_file_name|transcript|normalized_trascript] as in LJ-Speech dataset)
    - wavs (folder containing corresponding .wav audio files)

Archivos de script

Ejecute cada archivo con python <script_file>.py -h para ver los detalles de uso.

 python train.py <PATH_PARAMS.JSON> <MODE>
python evaluate.py <PATH_PARAMS.JSON> <MODE> 
python synthesize.py <TEXT2MEL_PARAMS> <SSRN_PARAMS> <SENTENCES.txt> (<N_ITER> <SAMPLE_DIR>)

Cuadernos:

• Evaluación : ejecuta predicciones del modelo en todos los conjuntos de capacitación y validación para diferentes puntos de control de modelos guardados y guarda los resultados finales.
• Demo : escriba interactivamente las oraciones de entrada y escuche el audio de salida generado.

Más:

• Capacitación en diferentes idiomas con menor cantidad de datos disponibles el conjunto de datos de los idiomas indios
• Explorando el uso de métodos semi-supervisados para acelerar el entrenamiento, utilizando un 'modelo de lenguaje de audio' previamente capacitado como inicialización

Código externo referenciado:

(De SRC/ init .py) Se ha hecho referencia al código de utilidad de las siguientes fuentes, todo el otro código es el propio del autor:

• src/data_load.py, dsp_utils.py (con modificaciones)
  https://www.github.com/kyubyong/dc_tts, (autor: Kyubyong Park, @kyubyong) https://github.com/r9y9/deepvoice3_pytorch/blob/aster/audio.py (autor: @r9y9)
• src/spsi.py (referenciado)
  https://github.com/lonce/spsi_python (autor: @lonce)
• src/utils.py (referenciado)
  https://github.com/cs230-stanford/cs230-code-examples https://www.github.com/kyubyong/dc_tts https://github.com/tensorflow/tensor2tensor/blob/master/tensor2tensororers/common_attention.