OpenSeq2Seq

OpenseQ2Seq：シーケンスからシーケンスモデルの分散および混合精度トレーニング用のツールキット

OpenseQ2Seqの主な目標は、研究者がさまざまなシーケンスからシーケンスモデルを最も効果的に探索できるようにすることです。効率は、分散型および混合環境トレーニングを完全にサポートすることによって達成されます。 Openseq2SeqはTensorflowを使用して構築され、神経機械翻訳、自動音声認識、音声合成、言語モデリングのためのトレーニングエンコーダーデコーダーモデルに必要なすべてのビルディングブロックを提供します。

ドキュメントとインストールの手順

https://nvidia.github.io/openseq2seq/

特徴

1. モデル：
   1. 神経機械翻訳
   2. 自動音声認識
   3. 音声統合
   4. 言語モデリング
   5. NLPタスク（センチメント分析）
2. データ並列分散トレーニング
   1. マルチGPU
   2. マルチノード
3. Nvidia Volta/Turing GPUの混合精密トレーニング

ソフトウェア要件

1. Python> = 3.5
2. Tensorflow> = 1.10
3. cuda> = 9.0、cudnn> = 7.0
4. Horovod> = 0.13（Horovodを使用する必要はありませんが、マルチGPUのセットアップには強くお勧めします）

謝辞

音声からテキストへのワークフローでは、Mozilla Deepspeechプロジェクトの一部を使用しています。

言語モデルを備えたビーム検索デコーダー（ decoders内）の実装を再スコアリングすることは、Baidu Deepspeechに基づいています。

テキストからテキストへのワークフローでは、Tensor2TensorおよびNeural Machine Translation（SEQ2SEQ）チュートリアルからいくつかの機能を使用します。

免責事項

これは、公式のNvidia製品ではなく、研究プロジェクトです。

関連リソース

• Tensor2Tensor
• ニューラルマシン翻訳（SEQ2SEQ）チュートリアル
• opennmt
• ニューラルモンキー
• ソッキー
• TF-seq2seq
• モーセ

紙

Openseq2Seqを使用する場合は、この論文を引用してください

 @misc{openseq2seq,
    title={Mixed-Precision Training for NLP and Speech Recognition with OpenSeq2Seq},
    author={Oleksii Kuchaiev and Boris Ginsburg and Igor Gitman and Vitaly Lavrukhin and Jason Li and Huyen Nguyen and Carl Case and Paulius Micikevicius},
    year={2018},
    eprint={1805.10387},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}