OpenSeq2Seq

OPENSEQ2SEQ: Toolkit untuk pelatihan presisi yang didistribusikan dan campuran dari model urutan-ke-urutan

Tujuan utama OPENSEQ2SEQ adalah untuk memungkinkan para peneliti untuk paling efektif mengeksplorasi berbagai model urutan-ke-urutan. Efisiensi dicapai dengan pelatihan yang didistribusikan dan presisi campuran sepenuhnya mendukung. OpenseQ2seq dibangun menggunakan TensorFlow dan menyediakan semua blok bangunan yang diperlukan untuk pelatihan model encoder-decoder untuk terjemahan mesin saraf, pengenalan ucapan otomatis, sintesis ucapan, dan pemodelan bahasa.

Instruksi Dokumentasi dan Instalasi

https://nvidia.github.io/openseq2seq/

Fitur

1. Model untuk:
   1. Terjemahan mesin saraf
   2. Pengenalan ucapan otomatis
   3. Sintesis ucapan
   4. Pemodelan Bahasa
   5. Tugas NLP (analisis sentimen)
2. Pelatihan terdistribusi paralel data
   1. Multi-GPU
   2. Multi-node
3. Pelatihan presisi campuran untuk NVIDIA VOLTA/TURGE GPU

Persyaratan perangkat lunak

1. Python> = 3.5
2. TensorFlow> = 1.10
3. Cuda> = 9.0, cudnn> = 7.0
4. Horovod> = 0,13 (menggunakan Horovod tidak diperlukan, tetapi sangat disarankan untuk pengaturan multi-GPU)

Ucapan Terima Kasih

Alur kerja pidato-ke-teks menggunakan beberapa bagian proyek Mozilla Deepspeech.

Decoder pencarian balok dengan Model Bahasa Implementasi Penilaian ulang (dalam decoders ) didasarkan pada Baidu Deepspeech.

Alur kerja teks-ke-teks menggunakan beberapa fungsi dari tutorial Tensor2Tensor dan Neural Machine Translation (SEQ2SEQ).

Penafian

Ini adalah proyek penelitian, bukan produk NVIDIA resmi.

Sumber daya terkait

• Tensor2Tensor
• Tutorial Terjemahan Mesin Saraf (SEQ2SEQ)
• Opennmt
• Monyet saraf
• Sockeye
• Tf-seq2seq
• Musa

Kertas

Jika Anda menggunakan openseq2seq, silakan kutip makalah ini

 @misc{openseq2seq,
    title={Mixed-Precision Training for NLP and Speech Recognition with OpenSeq2Seq},
    author={Oleksii Kuchaiev and Boris Ginsburg and Igor Gitman and Vitaly Lavrukhin and Jason Li and Huyen Nguyen and Carl Case and Paulius Micikevicius},
    year={2018},
    eprint={1805.10387},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}