OpenSeq2Seq

OpenseQ2Seq: Toolkit สำหรับการฝึกอบรมแบบกระจายและผสมผสานความแม่นยำของแบบจำลองลำดับต่อลำดับ

เป้าหมายหลักของ OpenseQ2Seq คือการอนุญาตให้นักวิจัยสำรวจโมเดลลำดับต่อลำดับที่หลากหลายมากที่สุด ประสิทธิภาพทำได้โดยการสนับสนุนการฝึกอบรมแบบกระจายและความแม่นยำแบบผสมอย่างเต็มที่ OpenseQ2Seq ถูกสร้างขึ้นโดยใช้ TensorFlow และจัดทำหน่วยการสร้างที่จำเป็นทั้งหมดสำหรับการฝึกอบรมโมเดล Decoder Decoder สำหรับการแปลเครื่องประสาทการรู้จำเสียงพูดอัตโนมัติการสังเคราะห์เสียงพูดและการสร้างแบบจำลองภาษา

เอกสารและคำแนะนำการติดตั้ง

https://nvidia.github.io/openseq2seq/

คุณสมบัติ

1. แบบจำลองสำหรับ:
   1. การแปลเครื่องประสาท
   2. การรู้จำเสียงพูดอัตโนมัติ
   3. การสังเคราะห์คำพูด
   4. การสร้างแบบจำลองภาษา
   5. งาน NLP (การวิเคราะห์ความเชื่อมั่น)
2. การฝึกอบรมแบบกระจายข้อมูลแบบขนาน
   1. หลาย GPU
   2. หลายโหนด
3. การฝึกอบรมที่แม่นยำแบบผสมสำหรับ Nvidia Volta/Turing GPUs

ข้อกำหนดซอฟต์แวร์

1. Python> = 3.5
2. tensorflow> = 1.10
3. cuda> = 9.0, cudnn> = 7.0
4. Horovod> = 0.13 (ใช้ Horovod ไม่จำเป็น แต่ขอแนะนำอย่างยิ่งสำหรับการตั้งค่า multi-GPU)

กิตติกรรมประกาศ

เวิร์กโฟลว์คำพูดเป็นข้อความใช้บางส่วนของโครงการ Mozilla Deepspeech

ตัวถอดรหัสการค้นหาลำแสงที่มีรูปแบบการใช้งานการให้คะแนนการใช้งานซ้ำ (ใน decoders ) ขึ้นอยู่กับ Baidu DeepSpeech

เวิร์กโฟลว์ข้อความเป็นข้อความใช้ฟังก์ชั่นบางอย่างจากบทช่วยสอน Tensor2Tensor และ Neural Machine (SEQ2SEQ)

คำเตือน

นี่คือโครงการวิจัยไม่ใช่ผลิตภัณฑ์ Nvidia อย่างเป็นทางการ

ทรัพยากรที่เกี่ยวข้อง

• Tensor2tensor
• การแปลเครื่องประสาท (SEQ2SEQ) การสอน
• Opennmt
• ลิงประสาท
• Sockeye
• tf-seq2seq
• โมเสส

กระดาษ

หากคุณใช้ OpenSeQ2Seq โปรดอ้างอิงบทความนี้

 @misc{openseq2seq,
    title={Mixed-Precision Training for NLP and Speech Recognition with OpenSeq2Seq},
    author={Oleksii Kuchaiev and Boris Ginsburg and Igor Gitman and Vitaly Lavrukhin and Jason Li and Huyen Nguyen and Carl Case and Paulius Micikevicius},
    year={2018},
    eprint={1805.10387},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}