etos tts

Etos TTS

Etos TTS, tiene como objetivo construir un texto neuronal a voz (TTS) que sea capaz de transformar el texto en voz en voces que se muestrean en la naturaleza. Es una implementación de Pytorch de Tacotron: un modelo de síntesis de texto a discurso de extremo a extremo.

Uso

Requisitos

• Python 3.6 o posterior
• Pytorch 0.4 se prueba
• Para Ubuntu, sudo apt install libsndfile1

Puede usar PIP para instalar otros requisitos.

pip3 install -r requirements.txt

Pruebas

Puede usar el modelo de petróleo en models/may22 y ejecutar el servidor web TTS:

python server.py -c server_conf.json

Luego vaya a http://127.0.0.1:8000 y disfrute.

Datos

Actualmente TTS proporciona cargadores de datos para

• Discurso de LJ

Entrenando la red

Para ejecutar su propia capacitación, debe definir un archivo config.json (plantilla simple a continuación) y llamar con el comando.

train.py --config_path config.json

Si desea usar un conjunto específico de GPU.

CUDA_VISIBLE_DEVICES="0,1,4" train.py --config_path config.json

Cada ejecución crea una carpeta de experimentos con la fecha y hora de correponfing, debajo de la carpeta que establece en config.json . Y si aún no hay punto de control en esa carpeta, se eliminará cuando presione Ctrl+C.

También puede disfrutar de TensorBoard con un par de buenos registros de entrenamiento, si señala --logdir la carpeta de experimentos.

Ejemplo config.json :

 {
  "num_mels": 80,
  "num_freq": 1025,
  "sample_rate": 22050,
  "frame_length_ms": 50,
  "frame_shift_ms": 12.5,
  "preemphasis": 0.97,
  "min_level_db": -100,
  "ref_level_db": 20,
  "embedding_size": 256,
  "text_cleaner": "english_cleaners",

  "epochs": 200,
  "lr": 0.002,
  "warmup_steps": 4000,
  "batch_size": 32,
  "eval_batch_size":32,
  "r": 5,
  "mk": 0.0,  // guidede attention loss weight. if 0 no use
  "priority_freq": true,  // freq range emphasis

  "griffin_lim_iters": 60,
  "power": 1.2,

  "dataset": "TWEB",
  "meta_file_train": "transcript_train.txt",
  "meta_file_val": "transcript_val.txt",
  "data_path": "/data/shared/BibleSpeech/",
  "min_seq_len": 0,
  "num_loader_workers": 8,

  "checkpoint": true,  // if save checkpoint per save_step
  "save_step": 200,
  "output_path": "/path/to/my_experiment",
}

HACER

• Vocoder de Wavenet para una mejor calidad
• IAF o NAF para el rendimiento en tiempo real

Referencias

• Síntesis de audio neuronal eficiente
• Modelos basados ​​en la atención para el reconocimiento de voz
• Generación de secuencias con redes neuronales recurrentes
• CHAR2WAV: Síntesis de discurso de extremo a extremo
• Voiceloop: ajuste de voz y síntesis a través de un bucle fonológico
• Wavernn
• Wavenet más rápido
• Wavenet paralelo
• Naf

Gracias

• https://github.com/Keithito/tacotron
• https://github.com/r9y9/tacotron_pytorch
• https://github.com/mozilla/tts