OpenSeq2Seq

OpenSeq2SEQ: Toolkit para entrenamiento de precisión distribuido y mixto de modelos de secuencia a secuencia

El objetivo principal de OpenSeq2SEQ es permitir que los investigadores exploren de manera más efectiva varios modelos de secuencia a secuencia. La eficiencia se logra mediante el entrenamiento distribuido y de precisión mixta. OpenSeq2SEQ se construye utilizando TensorFlow y proporciona todos los bloques de construcción necesarios para capacitar modelos de codificadores de codificadores para la traducción de la máquina neuronal, reconocimiento automático de voz, síntesis de voz y modelado de idiomas.

Instrucciones de documentación e instalación

https://nvidia.github.io/openseq2seq/

Características

1. Modelos para:
   1. Traducción del automuleto neural
   2. Reconocimiento automático de voz
   3. Síntesis del habla
   4. Modelado de idiomas
   5. Tareas de PNL (análisis de sentimientos)
2. Capacitación distribuida de datos paralelos
   1. Múltiple
   2. Múltiplo
3. Entrenamiento de precisión mixta para GPU Nvidia Volta/Turing

Requisitos de software

1. Python> = 3.5
2. Tensorflow> = 1.10
3. CUDA> = 9.0, CUDNN> = 7.0
4. Horovod> = 0.13 (usando Horovod no es necesario, pero es muy recomendable para la configuración de múltiples GPU)

Expresiones de gratitud

El flujo de trabajo de voz a texto utiliza algunas partes del proyecto Mozilla DeepSpeech.

El decodificador de búsqueda de haz con la implementación de la redacción del modelo de idioma (en decoders ) se basa en Baidu DeepSpeech.

El flujo de trabajo de texto a texto utiliza algunas funciones de tensor2tensor y tutorial de traducción automática neural (SEQ2SEQ).

Descargo de responsabilidad

Este es un proyecto de investigación, no un producto oficial de NVIDIA.

Recursos relacionados

• Tensor2tensor
• Tutorial de traducción automática neural (SEQ2SEQ)
• Abre
• Mono neural
• Foteye
• Tf-seq2seq
• Moisés

Papel

Si usa OpenSeq2SEQ, cite este documento

 @misc{openseq2seq,
    title={Mixed-Precision Training for NLP and Speech Recognition with OpenSeq2Seq},
    author={Oleksii Kuchaiev and Boris Ginsburg and Igor Gitman and Vitaly Lavrukhin and Jason Li and Huyen Nguyen and Carl Case and Paulius Micikevicius},
    year={2018},
    eprint={1805.10387},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}