OpenSeq2Seq

OpenSEQ2SEQ: Toolkit pour la formation de précision distribuée et mixte des modèles de séquence à séquence

L'objectif principal d'OpenSEQ2SEQ est de permettre aux chercheurs d'explorer le plus efficacement divers modèles de séquence à séquence. L'efficacité est obtenue en soutenant pleinement la formation distribuée et mixte. OpenSEQ2SEQ est construit à l'aide de TensorFlow et fournit tous les éléments constitutifs nécessaires pour la formation de modèles d'encodeur-décodeur pour la traduction de la machine neuronale, la reconnaissance de la parole automatique, la synthèse de la parole et la modélisation du langage.

Instructions de documentation et d'installation

https://nvidia.github.io/openseq2seq/

Caractéristiques

1. Modèles pour:
   1. Traduction de la machine neurale
   2. Reconnaissance automatique de la parole
   3. Synthèse de la parole
   4. Modélisation des langues
   5. Tâches PNL (analyse des sentiments)
2. Formation distribuée parallèle aux données
   1. Multi-GPU
   2. Multi-nœuds
3. Formation de précision mixte pour les GPU Nvidia Volta / Turing

Exigences logicielles

1. Python> = 3,5
2. TensorFlow> = 1.10
3. Cuda> = 9,0, cudnn> = 7.0
4. Horovod> = 0,13 (à l'aide de Horovod n'est pas requis, mais est fortement recommandé pour la configuration multi-GPU)

Remerciements

Le flux de travail de la parole à texte utilise certaines parties du projet DeepSpeech de Mozilla.

Le décodeur de recherche de faisceau avec la mise en œuvre de re-score du modèle de langage (dans decoders ) est basé sur Baidu DeepSpeech.

Le flux de travail text-to-texte utilise certaines fonctions du didacticiel Tensor2tensor et neuronal de traduction automatique (SEQ2SEQ).

Clause de non-responsabilité

Il s'agit d'un projet de recherche, pas d'un produit NVIDIA officiel.

Ressources connexes

• Tensor2tenseur
• Tutoriel de traduction de la machine neurale (SEQ2SEQ)
• Opennmt
• Singe neural
• Saubout
• Tf-seq2seq
• Moïse

Papier

Si vous utilisez OpenSEQ2SEQ, veuillez citer ce document

 @misc{openseq2seq,
    title={Mixed-Precision Training for NLP and Speech Recognition with OpenSeq2Seq},
    author={Oleksii Kuchaiev and Boris Ginsburg and Igor Gitman and Vitaly Lavrukhin and Jason Li and Huyen Nguyen and Carl Case and Paulius Micikevicius},
    year={2018},
    eprint={1805.10387},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}