OpenSeq2Seq

OpenSEQ2SEQ：用于序列到序列模型的分布式和混合精度训练的工具包

OpenSeq2Seq的主要目标是使研究人员能够最有效地探索各种顺序到序列模型。效率是通过完全支持分布式和混合精确培训来实现的。 OpenSeq2Seq是使用TensorFlow构建的，并为培训编码器模型提供了所有必要的构建块，用于神经机器翻译，自动语音识别，语音综合和语言建模。

文档和安装说明

https://nvidia.github.io/openseq2seq/

特征

1. 模型：
   1. 神经机器翻译
   2. 自动语音识别
   3. 语音综合
   4. 语言建模
   5. NLP任务（情感分析）
2. 数据并行分布式培训
   1. 多GPU
   2. 多节点
3. NVIDIA VOLTA/Turing GPU的混合精度训练

软件要求

1. Python> = 3.5
2. TensorFlow> = 1.10
3. cuda> = 9.0，cudnn> = 7.0
4. HOROVOD> = 0.13（不需要使用HOROVOD，但强烈建议用于多GPU设置）

致谢

语音到文本工作流程使用Mozilla Deepspeech项目的某些部分。

使用语言模型重新得分实现（以decoders ）为基础的Beam搜索解码器基于Baidu DeepSpeech。

文本到文本工作流使用Tensor2Tensor和Neural Machine Translation（SEQ2SEQ）教程中的一些功能。

免责声明

这是一个研究项目，而不是官方的NVIDIA产品。

相关资源

• Tensor2Tensor
• 神经机器翻译（SEQ2SEQ）教程
• OpenNMT
• 神经猴
• 大厦
• TF-Seq2Seq
• 摩西

纸

如果您使用OpenSeq2Seq，请引用本文

 @misc{openseq2seq,
    title={Mixed-Precision Training for NLP and Speech Recognition with OpenSeq2Seq},
    author={Oleksii Kuchaiev and Boris Ginsburg and Igor Gitman and Vitaly Lavrukhin and Jason Li and Huyen Nguyen and Carl Case and Paulius Micikevicius},
    year={2018},
    eprint={1805.10387},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}