OpenSeq2Seq

OpenSeq2Seq: Toolkit para treinamento de precisão distribuído e misto de modelos de sequência a sequência

O objetivo principal do OpenSeq2SEQ é permitir que os pesquisadores explorem com mais eficácia vários modelos de sequência a sequência. A eficiência é alcançada pelo treinamento totalmente distribuído e de precisão mista. O OpenSeq2SEQ é construído usando o TensorFlow e fornece todos os blocos de construção necessários para modelos de codificador de treinamento para tradução de máquinas neurais, reconhecimento automático de fala, síntese de fala e modelagem de idiomas.

Instruções de documentação e instalação

https://nvidia.github.io/openseq2seq/

Características

1. Modelos para:
   1. Tradução da máquina neural
   2. Reconhecimento automático de fala
   3. Síntese de fala
   4. Modelagem de idiomas
   5. Tarefas de PNL (análise de sentimentos)
2. Treinamento distribuído paralelo de dados
   1. Multi-GPU
   2. Multi-nó
3. Treinamento de precisão mista para GPUs NVIDIA Volta/Turing

Requisitos de software

1. Python> = 3.5
2. Tensorflow> = 1.10
3. Cuda> = 9.0, cudnn> = 7.0
4. Horovod> = 0,13 (usando Horovod não é necessário, mas é altamente recomendado para configuração multi-GPU)

Agradecimentos

O fluxo de trabalho de fala para texto usa algumas partes do projeto Mozilla DeepSpeech.

O decodificador de pesquisa de feixes com o modelo de linguagem que re-pontua a implementação (em decoders ) é baseado no Baidu DeepSpeech.

O fluxo de trabalho de texto para texto usa algumas funções do tutorial Tensor2tensor e da Máquina Neural (SEQ2SEQ).

Isenção de responsabilidade

Este é um projeto de pesquisa, não um produto oficial da NVIDIA.

Recursos relacionados

• Tensor2tensor
• Tutorial de Tradução da Máquina Neural (SEQ2SEQ)
• Opennmt
• Macaco neural
• Sockeye
• Tf-seq2seq
• Moisés

Papel

Se você usar o OpenSeq2Seq, cite este artigo

 @misc{openseq2seq,
    title={Mixed-Precision Training for NLP and Speech Recognition with OpenSeq2Seq},
    author={Oleksii Kuchaiev and Boris Ginsburg and Igor Gitman and Vitaly Lavrukhin and Jason Li and Huyen Nguyen and Carl Case and Paulius Micikevicius},
    year={2018},
    eprint={1805.10387},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}