OpenSeq2Seq

OpenSeq2seq: Toolkit для распределенной и смешанной точной тренировки моделей последовательности к последовательности

Основная цель OpenSEQ2SEQ-позволить исследователям наиболее эффективно изучать различные модели последовательности к последовательности. Эффективность достигается путем полной поддержки распределенного и смешанного обучения. OpenSeq2seq строится с использованием TensorFlow и предоставляет все необходимые строительные блоки для обучения моделей энкодера-декодера для перевода нейронной машины, автоматического распознавания речи, синтеза речи и языкового моделирования.

Инструкции по документации и установке

https://nvidia.github.io/openseq2seq/

Функции

1. Модели для:
   1. Нейронная машина перевод
   2. Автоматическое распознавание речи
   3. Синтез речи
   4. Языковое моделирование
   5. Задачи НЛП (анализ настроений)
2. Распределенная обучение данных-параллельно
   1. Мульти-GPU
   2. Мульти-узел
3. Смешанная точная тренировка для графических процессоров Nvidia Volta/Turing

Требования к программному обеспечению

1. Python> = 3,5
2. TensorFlow> = 1,10
3. Cuda> = 9,0, cudnn> = 7,0
4. Horovod> = 0,13 (использование Horovod не требуется, но настоятельно рекомендуется для установки мульти-GPU)

Благодарности

Рабочий процесс речи к тексту использует некоторые части проекта Mozilla Deepspeech.

Декодер для поиска луча с реализацией «Реализация» (в decoders ) основан на темно-скоростной реализации (в декодерах).

Рабочий процесс текста в тексте использует некоторые функции из учебника Tensor2tensor и Translation Translation (SEQ2SEQ).

Отказ от ответственности

Это исследовательский проект, а не официальный продукт NVIDIA.

Связанные ресурсы

• Tensor2tensor
• Учебник по переводу нейронной машины (SEQ2SEQ)
• Opennmt
• Нейронная обезьяна
• Sockeye
• Tf-seq2seq
• Моисей

Бумага

Если вы используете OpenSeq2seq, пожалуйста, цитируйте эту статью

 @misc{openseq2seq,
    title={Mixed-Precision Training for NLP and Speech Recognition with OpenSeq2Seq},
    author={Oleksii Kuchaiev and Boris Ginsburg and Igor Gitman and Vitaly Lavrukhin and Jason Li and Huyen Nguyen and Carl Case and Paulius Micikevicius},
    year={2018},
    eprint={1805.10387},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}