OpenSeq2Seq

Openseq2Seq: مجموعة أدوات للتدريب الدقيق الموزع والمختلط لنماذج التسلسل إلى التسلسل

الهدف الرئيسي من OpenseQ2Seq هو السماح للباحثين باستكشاف نماذج التسلسل إلى التسلسل بشكل أكثر فعالية. يتم تحقيق الكفاءة من خلال دعم تدريب موزع ومختلط بشكل كامل. تم تصميم OpenseQ2Seq باستخدام TensorFlow ويوفر جميع لبنات البناء اللازمة لتدريب نماذج ترميز التشفير للترجمة الآلية العصبية ، والتعرف على الكلام التلقائي ، وتوليف الكلام ، ونمذجة اللغة.

تعليمات التوثيق والتركيب

https://nvidia.github.io/openseq2seq/

سمات

1. نماذج لـ:
   1. الترجمة الآلية العصبية
   2. التعرف على الكلام التلقائي
   3. تخليق الكلام
   4. نمذجة اللغة
   5. مهام NLP (تحليل المشاعر)
2. تدريب موزعة موزعة للبيانات
   1. متعدد GPU
   2. متعددة العقدة
3. التدريب الدقيق المختلط ل Nvidia Volta/Turing GPUS

متطلبات البرمجيات

1. بيثون> = 3.5
2. TensorFlow> = 1.10
3. cuda> = 9.0 ، cudnn> = 7.0
4. Horovod> = 0.13 (باستخدام Horovod غير مطلوب ، ولكن يوصى بشدة بإعداد GPU متعدد))

شكر وتقدير

يستخدم سير العمل الكلام إلى النص بعض أجزاء من مشروع Mozilla Deepspeech.

يعتمد Decoder Search Search مع تنفيذ إعادة تسجيل نموذج اللغة (في decoders ) على Baidu Deepspeech.

يستخدم سير العمل من نص إلى نص بعض الوظائف من برنامج Tensor2Tensor و Transal Machine Translation (SEQ2Seq).

تنصل

هذا مشروع بحثي ، وليس منتج Nvidia الرسمي.

الموارد ذات الصلة

• Tensor2Tensor
• ترجمة الآلة العصبية (SEQ2SEQ) البرنامج التعليمي
• OpenNmt
• القرد العصبي
• sockeye
• TF-Seq2Seq
• موسى

ورق

إذا كنت تستخدم OpenseQ2Seq ، فيرجى الاستشهاد بهذه الورقة

 @misc{openseq2seq,
    title={Mixed-Precision Training for NLP and Speech Recognition with OpenSeq2Seq},
    author={Oleksii Kuchaiev and Boris Ginsburg and Igor Gitman and Vitaly Lavrukhin and Jason Li and Huyen Nguyen and Carl Case and Paulius Micikevicius},
    year={2018},
    eprint={1805.10387},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}