OpenSeq2Seq

OpenSeq2Seq : 시퀀스-시퀀스 모델의 분산 및 혼합 정밀 훈련을위한 툴킷

OpenSeq2Seq 주요 목표는 연구원들이 다양한 시퀀스-시퀀스 모델을 가장 효과적으로 탐색 할 수 있도록하는 것입니다. 효율성은 분산 및 혼합 정제 교육을 완전히 지원함으로써 달성됩니다. OpenSeq2Seq는 TensorFlow를 사용하여 구축되었으며 신경 기계 번역, 자동 음성 인식, 음성 합성 및 언어 모델링을위한 훈련 인코더 디코더 모델에 필요한 모든 빌딩 블록을 제공합니다.

문서 및 설치 지침

https://nvidia.github.io/openseq2seq/

특징

1. 모델 :
   1. 신경 기계 번역
   2. 자동 음성 인식
   3. 음성 합성
   4. 언어 모델링
   5. NLP 작업 (정서 분석)
2. 데이터 평행 분산 교육
   1. 멀티 GPU
   2. 멀티 노드
3. NVIDIA VOLTA/TURING GPU에 대한 혼합 정밀 훈련

소프트웨어 요구 사항

1. 파이썬> = 3.5
2. 텐서 플로우> = 1.10
3. cuda> = 9.0, cudnn> = 7.0
4. Horovod> = 0.13 (Horovod 사용은 필요하지 않지만 멀티 GPU 설정에 적극 권장됩니다)

감사의 말

Speech-to-Text Workflow는 Mozilla DeepSpeech 프로젝트의 일부를 사용합니다.

언어 모델을 사용한 빔 검색 디코더 ( decoders )는 Baidu DeepSpeech를 기반으로합니다.

텍스트-텍스트 워크 플로는 Tensor2tensor 및 Neural Machine Translation (SEQ2SEQ) 튜토리얼의 일부 기능을 사용합니다.

부인 성명

이것은 공식적인 NVIDIA 제품이 아닌 연구 프로젝트입니다.

관련 리소스

• Tensor2tensor
• 신경 기계 번역 (SEQ2SEQ) 자습서
• Opennmt
• 신경 원숭이
• 홍인
• TF-Seq2Seq
• 모세

종이

OpenSeq2Seq를 사용하는 경우이 논문을 인용하십시오

 @misc{openseq2seq,
    title={Mixed-Precision Training for NLP and Speech Recognition with OpenSeq2Seq},
    author={Oleksii Kuchaiev and Boris Ginsburg and Igor Gitman and Vitaly Lavrukhin and Jason Li and Huyen Nguyen and Carl Case and Paulius Micikevicius},
    year={2018},
    eprint={1805.10387},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}