OpenSeq2Seq

OpenSEQ2SEQ：用於序列到序列模型的分佈式和混合精度訓練的工具包

OpenSeq2Seq的主要目標是使研究人員能夠最有效地探索各種順序到序列模型。效率是通過完全支持分佈式和混合精確培訓來實現的。 OpenSeq2Seq是使用TensorFlow構建的，並為培訓編碼器模型提供了所有必要的構建塊，用於神經機器翻譯，自動語音識別，語音綜合和語言建模。

文檔和安裝說明

https://nvidia.github.io/openseq2seq/

特徵

1. 模型：
   1. 神經機器翻譯
   2. 自動語音識別
   3. 語音綜合
   4. 語言建模
   5. NLP任務（情感分析）
2. 數據並行分佈式培訓
   1. 多GPU
   2. 多節點
3. NVIDIA VOLTA/Turing GPU的混合精度訓練

軟件要求

1. Python> = 3.5
2. TensorFlow> = 1.10
3. cuda> = 9.0，cudnn> = 7.0
4. HOROVOD> = 0.13（不需要使用HOROVOD，但強烈建議用於多GPU設置）

致謝

語音到文本工作流程使用Mozilla Deepspeech項目的某些部分。

使用語言模型重新得分實現（以decoders ）為基礎的Beam搜索解碼器基於Baidu DeepSpeech。

文本到文本工作流使用Tensor2Tensor和Neural Machine Translation（SEQ2SEQ）教程中的一些功能。

免責聲明

這是一個研究項目，而不是官方的NVIDIA產品。

相關資源

• Tensor2Tensor
• 神經機器翻譯（SEQ2SEQ）教程
• OpenNMT
• 神經猴
• 大廈
• TF-Seq2Seq
• 摩西

紙

如果您使用OpenSeq2Seq，請引用本文

 @misc{openseq2seq,
    title={Mixed-Precision Training for NLP and Speech Recognition with OpenSeq2Seq},
    author={Oleksii Kuchaiev and Boris Ginsburg and Igor Gitman and Vitaly Lavrukhin and Jason Li and Huyen Nguyen and Carl Case and Paulius Micikevicius},
    year={2018},
    eprint={1805.10387},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}