OpenSeq2Seq

OpenSeq2Seq: Toolkit für verteilte und gemischte Präzisionstraining von Sequenz-zu-Sequenz-Modellen

Das Hauptziel von OpenSeq2seq ist es, Forschern zu ermöglichen, verschiedene Sequenz-zu-Sequenz-Modelle am effektivsten zu untersuchen. Die Effizienz wird durch die vollständige Unterstützung verteilter und gemischter Schulungen erreicht. OpenSeq2Seq wurde unter Verwendung von TensorFlow erstellt und bietet alle erforderlichen Bausteine ​​für Schulungscodiererdekodermodelle für die Übersetzung der neuronalen maschinellen Übersetzung, die automatische Spracherkennung, die Sprachsynthese und die Sprachmodellierung.

Dokumentations- und Installationsanweisungen

https://nvidia.github.io/openseq2seq/

Merkmale

1. Modelle für:
   1. Neuralmaschinenübersetzung
   2. Automatische Spracherkennung
   3. Sprachsynthese
   4. Sprachmodellierung
   5. NLP -Aufgaben (Stimmungsanalyse)
2. Daten-parallelverteilte Schulung
   1. Multi-GPU
   2. Multi-Knoten
3. Gemischte Präzisionstraining für Nvidia Volta/Turing -GPUs

Softwareanforderungen

1. Python> = 3,5
2. TensorFlow> = 1.10
3. CUDA> = 9,0, CUDNN> = 7,0
4. Horovod> = 0,13 (mit Horovod ist nicht erforderlich, wird jedoch für Multi-GPU-Setup dringend empfohlen)

Anerkennung

Sprach-Text-Workflow verwendet einige Teile des Mozilla DeepSpeech-Projekts.

Der Beam-Search-Decoder mit Recoring Implementierung des Sprachmodells (in decoders ) basiert auf Baidu DeepSpeech.

Der Text-to-Text-Workflow verwendet einige Funktionen aus Tensor2tensor- und Neural Machine Translation (SEQ2SQ) Tutorial.

Haftungsausschluss

Dies ist ein Forschungsprojekt, kein offizielles NVIDIA -Produkt.

Verwandte Ressourcen

• Tensor2tensor
• Tutorial für neuronale Maschinenübersetzung (SEQ2SQ)
• OpenNMT
• Neuralaffen
• Sockeye
• Tf-seq2seq
• Moses

Papier

Wenn Sie OpenSeq2Seq verwenden, zitieren Sie dieses Papier bitte

 @misc{openseq2seq,
    title={Mixed-Precision Training for NLP and Speech Recognition with OpenSeq2Seq},
    author={Oleksii Kuchaiev and Boris Ginsburg and Igor Gitman and Vitaly Lavrukhin and Jason Li and Huyen Nguyen and Carl Case and Paulius Micikevicius},
    year={2018},
    eprint={1805.10387},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}