sockeye

Sockeye

Sockeye вступил в режим обслуживания и больше не добавляет новые функции. Мы благодарны всем, кто внес свой вклад в Sockeye на протяжении всего своего разработки с помощью запросов на вывод, отчетов о выпуске и многого другого.

Sockeye-это рамка последовательности с открытым исходным кодом для перевода нейронной машины, построенной на Pytorch. Он реализует распределенное обучение и оптимизированный вывод для современных моделей, питания Amazon Translate и других приложений MT. Недавние события и изменения отслеживаются в нашей измене.

Руководство по QuickStart по обучению стандартной модели NMT по любому размеру данных, см. Учебное пособие по английскому языку WMT 2014.

По вопросам и отчетам, пожалуйста, подайте проблему на GitHub.

Версия 3.1.x: только pytorch

С версией 3.1.x мы удаляем поддержку MXNET 2.X. Модели, обученные Pytorch и Sockeye 3.0.x, остаются совместимыми с Sockeye 3.1.x. Модели, обученные 2.3.x (с использованием mxnet) и преобразованные в Pytorch с инструментом преобразования Sockeye 3.0.x, не могут использоваться с Sockeye 3.1.x.

Версия 3.0.0: одновременная поддержка Pytorch и Mxnet

Начиная с версии 3.0.0, Sockeye также основан на Pytorch. Мы поддерживаем обратную совместимость с моделями MXNET версии 2.3.x с 3.0.x. Если установлен MXNet 2.x, Sockeye может работать как с Pytorch, так и с MXNET.

Все модели, обученные 2.3.x (с использованием MXNET), могут быть преобразованы в модели, работающие с Pytorch, с использованием CLI конвертера ( sockeye.mx_to_pt ). Это создаст файл параметров Pytorch ( <model>/params.best ) и резервное копирование существующего файла параметров MXNet в <model>/params.best.mx . Обратите внимание, что это относится только к полностью обученным моделям, которые должны использоваться для вывода. Продолжение обучения модели MXNET с Pytorch не поддерживается (потому что мы не конвертируем состояния обучения и оптимизатора). sockeye.mx_to_pt требует, чтобы MXNET был установлен в среду.

Все CLI версии 3.0.0 теперь используют Pytorch по умолчанию, EG sockeye-{train,translate,score} . CLI/модули на основе MXNET по-прежнему работают и доступны через sockeye-{train,translate,score}-mx .

Sockeye 3 может быть установлен и запускаться без MXNET, но при установке выполняется расширенный набор тестов для обеспечения эквивалентности между моделями Pytorch и MXNET. Обратите внимание, что запуск Sockeee 3.0.0 с MXNET требует установки MXNET 2.X ( pip install --pre -f https://dist.mxnet.io/python 'mxnet>=2.0.0b2021' )

Установка

Загрузите текущую версию Sockeee:

git clone https://github.com/awslabs/sockeye.git

Установите модуль Sockeye и его зависимости:

 cd sockeye && pip3 install --editable .

Для более быстрого обучения графического процессора установите Nvidia Apex. Nvidia также предоставляет контейнеры Docker Pytorch, которые включают Apex.

Документация

• Для получения информации о том, как использовать Sockeee, посетите нашу документацию.
• Разработчики могут быть заинтересованы в наших руководящих принципах разработчика.

Старые версии

• Sockeye 3.0, основанный на Pytorch & Mxnet 2.x, доступен в филиале sockeye_30 .
• Sockeye 2.x, основанный на API MXNet Gluon, доступен в филиале sockeye_2 .
• Sockeye 1.x, основанный на API модуля MXNET, доступен в филиале sockeye_1 .

Цитирование

Для получения дополнительной информации о Sockeye см. В наши документы (Bibtex).

Sockeye 3.x

Феликс Хибер, Майкл Денковски, Тобиас Домхан, Барбара Даркес Баррос, Селина Донг Йе, Син Ниу, Куонг Хоанг, Ке Тран, Бенджамин Хсу, Мария Надидж, Сурафель Лейкв, Прашант Матемер, Анна Керри, Мария Федерико. Sockeye 3: Быстрый перевод нейронной машины с Pytorch. Arxiv E-Prints.

Sockeye 2.x

Тобиас Домхан, Майкл Денковски, Дэвид Вилар, Син Ниу, Феликс Хибер, Кеннет Хифилд. The Sockeye 2 Нейронная машина инструментария для перевода в AMTA 2020. Труды 14 -й конференции Ассоциации машинного перевода в Америке (AMTA'20).

Феликс Хибер, Тобиас Домхан, Майкл Денковски, Дэвид Вилар. Sockeye 2: инструментарий для перевода нейронной машины. Материалы 22 -й ежегодной конференции Европейской ассоциации по машинному переводу, Проектный трек (EAMT'20).

Sockeye 1.x

Феликс Хибер, Тобиас Домхан, Майкл Денковски, Дэвид Вилар, Артем Соколов, Энн Клифтон, Мэтт Пост. Инструментарий перевода нейронной машины Sockeee на AMTA 2018. Труды 13 -й конференции Ассоциации машинного перевода в Америке (AMTA'18).

Феликс Хибер, Тобиас Домхан, Майкл Денковски, Дэвид Вилар, Артем Соколов, Энн Клифтон и Мэтт Пост. 2017. Sockeee: инструментарий для перевода нейронной машины. Arxiv E-Prints.

Исследование с Sockeye

Sockeye использовался как для академических, так и для промышленных исследований. Список известных публикаций, которые используют Sockeye, показан ниже. Если вы знаете больше, пожалуйста, сообщите нам об этом или отправьте запрос на привлечение (последнее обновление: май 2022).

2023

• Чжан, Сюань, Кевин Дух, Пол МакНами. «Инструментарий оптимизации гиперпараметрической оптимизации для исследования перевода нейронных машин». Материалы ACL (2023).

2022

• Керри, Анна, Мария Наджде, Рагхавендра Паппагари, Миа Майер, Станислас Лоли, Син Ниу, Бенджамин Хсу, Джорджиана Дину. «MT-Geneval: контрфактивный и контекстуальный набор данных для оценки точности пола в машинном переводе». Материалы EMNLP (2022).
• Домхан, Тобиас, Ева Хаслер, Ке Тран, Сони Тронус, Билл Бирн и Феликс Хибер. «Дьявол находится в деталях: на подводных камнях отбора словарного запаса в переводе нервной машины». Материалы NAACL-HLT (2022)
• Фишер, Лукас, Патриция Шеупер, Рафаэль Швиттер, Мартин Волк. «Машинный перевод букв 16 -го века с латинского на немецкий». Семинар по языковым технологиям для исторических и древних языков (2022).
• Ноулз, Ребекка, Патрик Литтелл. «Воспоминания перевода как базовые показатели для машинного перевода с низким ресурсом». Труды LREC (2022)
• МакНамее, Пол, Кевин Дух. «Многоязычный корпус перевода микроблогов: улучшение и оценка перевода текста, сгенерированного пользователем». Труды LREC (2022)
• Nadejde Maria, Anna Currey, Benjamin Hsu, Xing Niu, Marcello Federico, Georgiana Dinu. «Cocoa-MT: набор данных и эталон для контрастного контролируемого MT с применением к формальности». Материалы NAACL (2022).
• Уэллер-ди Марко, Марион, Матиас Хак, Александр Фрейзер. «Моделирование морфологии целевой стороны в переводе нервной машины: сравнение стратегий». Arxiv Preprint arxiv: 2203.13550 (2022)

2021

• Бергманис, Томс, Марси Пиннис. «Облегчение трансляции терминологии с целевыми аннотациями леммы». Arxiv Preprint arxiv: 2101.10035 (2021)
• Бриако, Элефтерия, Морской Карпуат. «Помимо шума: смягчение влияния мелкозернистых семантических расхождений на перевод нейронной машины». Arxiv Preprint arxiv: 2105.15087 (2021)
• Хаслер, Ева, Тобиас Домхан, Sony Trenous, Ke Tran, Bill Byrne, Felix Hieber. «Улучшение качества компромисса для многодоменной адаптации нейронной машины». Труды EMNLP (2021)
• Тан, Гонбо, Филипп Ренчен, Рико Сеннрих, Йоаким Нивр. «Пересмотр отрицания в переводе нейронной машины». Транзакции Ассоциации по вычислению лингвистики 9 (2021)
• Vu, Thuy, Alessandro Moschitti. «Настройка машинного перевода с помощью автоматического выбора данных обучения из Интернета». Arxiv Preprint arxiv: 2102.1024 (2021)
• Сюй, Вейджия, Морской карпуат. «Редактор: трансформатор на основе редактирования с перепозицией для нейронной машины с мягкими лексическими ограничениями». Транзакции Ассоциации по вычислению лингвистики 9 (2021)
• Мюллер, Матиас, Рико Сеннрих. «Понимание свойств минимального байеса декодирования риска в переводе нервной машины». Материалы 59 -го ежегодного собрания Ассоциации по вычислительной лингвистике и 11 -й Международной совместной конференции по обработке естественного языка (том 1: Долгостные документы) (2021)
• Попович, Майя, Альберто Понселас. «О машинном переводе обзоров пользователей». Труды RANLP (2021)
• Попович, Майя. «О природе и причинах наблюдаемых ошибок МТ». Материалы 18 -го саммита МТ (том 1: исследовательский трек) (2021)
• Джайн, Ништа, Майя Попович, Деклан Гроувс, Ева Ванмассенхоув. «Создание гендерных дополненных данных для НЛП». Материалы 3 -го семинара по гендерному смещению при обработке естественного языка (2021)
• Вилар, Дэвид, Марчелло Федерико. «Статистическое расширение кодировки байтовой пары». Труды IWSLT (2021)

2020

• Дину, Джорджиана, Прашант Матур, Марчелло Федерико, Станислас Лоли, Язер Аль-Онайзан. «Совместный перевод и конверсия единиц для сквозной локализации». Труды IWSLT (2020)
• Эксель, Мириам, Бьянка Бушбек, Лауриц Брандт, Симона Донева. «Терминологический перевод нейронной машины в SAP». Материалы Иамта (2020).
• Хисамото, Сорами, Мэтт Пост, Кевин Дух. «Атаки по выводу членства на моделях последовательности в последовательность: мои данные в вашей системе трансляции машин?» Транзакции Ассоциации вычислительной лингвистики, том 8 (2020)
• Нарадовский, Джейсон, Сюань Чжан, Кевин Дух. «Выбор системы машинного перевода из обратной связи Bandit». Arxiv Preprint arxiv: 2002.09646 (2020)
• Niu, Xing, Prashant Mathur, Georgiana Dinu, Yaser Al-Onaizan. «Оценка устойчивости к входным возмущениям для перевода нейронной машины». Arxiv Preprint arxiv: 2005.00580 (2020)
• Ниу, Син, Морской карпуат. «Контроль формальности трансляции нейронной машины с синтетическим надзором». Труды Аааа (2020)
• Кеунг, Филипп, Джулиан Салазар, Йичао Лю, Ноа А. Смит. «Неконтролируемая добыча и перевод Bitext с помощью самостоятельных контекстуальных встраиваний». Arxiv Preprint arxiv: 2010.07761 (2020).
• Соколов, Алекс, Трейси Ролин, Ария Растроу. «Перевод нейронной машины для многоязычного преобразования графы в фонем». Arxiv Preprint arxiv: 2006.14194 (2020)
• Stafanovičs, Artūrs, Toms Bergmanis, Mārcis pinnis. «Смягчение гендерного смещения в машинном переводе с целевыми гендерными аннотациями». Arxiv Preprint arxiv: 2010.06203 (2020)
• Стояновский, Дарио, Александр Фрейзер. «Адресация доменов с нулевым ресурсом с использованием контекста на уровне документов в переводе нейронной машины». Arxiv Preprint arxiv Preprint arxiv: 2004.14927 (2020)
• Стояновский, Дарио, Бенно -Кройер, Денис Песков, Александр Фрейзер. «Contracat: аналитические шаблоны Contrastive Coreference для машинного перевода». Материалы Колонга (2020)
• Чжан, Сюань, Кевин Дух. «Воспроизводимые и эффективные показатели для оптимизации гиперпараметрических систем перевода нейронных машин». Транзакции Ассоциации вычислительной лингвистики, том 8 (2020)
• Swe Zin Moe, Ye Kyaw Thu, Hnin Aye Thant, Nandar Win Min и Thepchai Supnithi, «Неупрочный перевод нейронной машины между языком жестов Мьянмы и Мьянмарским языком», Журнал интеллектуальной информации и интеллектуальных технологий, 1 апреля, 2020, с. 53-61. (Представлено 21 декабря 2019 года; принято 6 марта 2020 года; пересмотрен 16 марта 2020 года; опубликовано в Интернете 30 апреля 2020 года)
• Thazin Myint Oo, Ye Kyaw Thu, Khin Mar Soe и Thepchai Supnithi, «Нейронная машина между Мьянмой (бирманская) и Давей (Тавойан)», в разбирательствах 18-й Международной конференции по компьютерным приложениям (ICCA 2020), 27-28 февраля 2020 г., Янгон, Myanmar, pp.
• Мюллер, Матиас, Аннет Риос, Рико Сеннрих. «Доменная надежность в переводе нейронной машины». Труды Амты (2020)
• Риос, Аннет, Матиас Мюллер, Рико Сеннрих. «Сегментация подчиков и один язык моста влияют на перевод нейронной машины с нулевой машиной». Материалы 5 -го WMT: исследовательские работы (2020)
• Попович, Майя, Альберто Понселас. «Перевод нейронной машины между похожими юго-славянскими языками». Материалы 5 -го WMT: исследовательские работы (2020)
• Попович, Майя, Альберто Понселас. «Извлечение правильно выровненных сегментов из нечистых параллельных данных с использованием соответствия N-грамма символа». Труды конференции по языковым технологиям и цифровым гуманитарным наукам (JTDH 2020).
• Попович, Майя, Альберто Понселас, Мария Бркич, Энди Уэй. «Перевод нейронной машины для перевода в хорватский и сербский». Материалы 7 -го семинара по НЛП для аналогичных языков, разновидностей и диалектов (2020)

2019

• Agrawal, Sweta, Marine Carpuat. «Контроль сложности текста в переводе нейронной машины». Труды EMNLP (2019)
• Бек, Даниэль, Тревор Кон, Голамреза Хаффари. «Перевод нейронной речи с использованием решетчатых преобразований и графических сетей». Материалы текстовых графов-13 (EMNLP 2019)
• Керри, Анна, Кеннет Хифилд. «Нейронная машина с нулевым ресурсом с одноязычными данными о стержне». Труды EMNLP (2019)
• Гупта, Прабхакар, Майанк Шарма. «Оценка качества перевода неконтролируемого перевода для субтитров цифрового развлекательного контента». IEEE International Journal of Semantic Computing (2019)
• Ху, Дж. Эдвард, Худа Хайралла, Райан Калкин, Патрик Ся, Тонгфей Чен, Мэтт Пост и Бенджамин Ван Дурм. «Улучшение лексически ограниченного декодирования для перевода и одноязычного переписывания». Материалы NAACL-HLT (2019)
• Розендаль, Ян, Кристиан Херольд, Юнсу Ким, Мигель Граса, Вейю Ванг, Парния Бахар, Ингбо Гао и Герман Ней «Машины Университета Аахена для WMT 2019».
• Томпсон, Брайан, Джереми Гвиннуп, Худа Хайралла, Кевин Дух и Филипп Кон. «Преодоление катастрофического забывания во время адаптации доменной адаптации нейронной машины». Материалы NAACL-HLT 2019 (2019)
• Tättar, Andre, Elizaveta Korotkova, Mark Fishel «Многоязычное многоязычное многодоменное WMT19 Университета Тарту
• Thazin Myint Oo, Ye Kyaw Thu и Khin Mar Soe, «Перевод нейронной машины между Мьянмой (бирманской) и рахином (араканский)», в материалах шестой мастерской по NLP для аналогичных языков, сортов и диалектов, NAACL-2019, 7 июня 2019 г., Миннеаполис, Соединенные, п.п. 80-8888888888888888888888888888888888888888888888888888888888 года.

2018

• Домхан, Тобиас. «Сколько внимания вам нужно? Главный анализ архитектур перевода нейронной машины». Материалы 56 -го ACL (2018)
• Ким, Юнсу, Инбо Гао и Герман Ней. «Эффективная межсовая передача моделей перевода нейронных машин без общих словари». Arxiv Preprint arxiv: 1905.05475 (2019)
• Короткова, Элизавета, Максим дель и Марк Фишэл. «Монолингвальный и межязычный перенос в стиле с нулевым выстрелом». Arxiv Preprint arxiv: 1808.00179 (2018)
• Ниу, Син, Майкл Денковски и морской карпуат. «Двукеденный перевод нейронной машины с синтетическими параллельными данными». Arxiv Preprint arxiv: 1805.11213 (2018)
• Ниу, Син, Судха Рао и морской карпуат. «Нейронные модели с несколькими задачами для перевода между стилями внутри и разных языков». Coling (2018)
• Пост, Мэтт и Дэвид Вилар. «Быстрое лексически ограниченное декодирование с динамическим распределением луча для перевода нейронной машины». Материалы NAACL-HLT (2018)
• Шампер, Джулиан, Ян Розендаль, Парния Бахар, Юнсу Ким, Арне Никс и Герман Ней. «СИСТЕМЫ МУШНОГО ПЕРЕВОДЫ Университета AACHEN для WMT 2018». Материалы 3 -го WMT: общие документы по заданиям (2018)
• Шульц, Филипп, Уилкер Азиз и Тревор Кон. «Стохастический декодер для перевода нейронной машины». Arxiv Preprint arxiv: 1805.10844 (2018)
• Тамер, Алкули, Габриэль Брецшнер и Герман Ней. «О проблеме выравнивания в многоуровневом переводе нейронной машины». Материалы 3 -го WMT: исследовательские работы (2018)
• Тан, Гонбо, Рико Сеннрих и Джоаким Нивр. «Анализ механизмов внимания: случай неоднозначности слова в переводе нейронной машины». Материалы 3 -го WMT: исследовательские работы (2018)
• Томпсон, Брайан, Худа Хайралла, Антониос Анастасопулос, Арья Маккарти, Кевин Дух, Ребекка Марвин, Пол МакНами, Джереми Гвиннуп, Тим Андерсон и Филипп Кен. «Замораживание подсети для анализа адаптации домена в переводе нейронной машины». Arxiv Preprint arxiv: 1809.05218 (2018)
• Вилар, Дэвид. «Обучение скрытое вклад единицы для адаптации моделей перевода нейронной машины». Материалы NAACL-HLT (2018)
• Вьяс, Йогарши, Син Ниу и морской карпуат «идентифицируя семантические расходящие в параллельном тексте без аннотаций». Материалы NAACL-HLT (2018)
• Ван, Веййю, Деруи Чжу, Тамер Алхули, Зиксуань Ган и Герман Ней. «Нейронная скрытая модель Маркова для машинного перевода». Материалы 56 -го ACL (2018)
• Чжан, Сюань, Гаурав Кумар, Худа Хайралла, Кентон Мюррей, Джереми Гвиннуп, Марианна Дж. Мартиндейл, Пол МакНами, Кевин Дух и Морской Карпуат. «Эмпирическое исследование обучения учебной программе для перевода нейронной машины». Arxiv Preprint arxiv: 1811.00739 (2018)
• Swe Zin Moe, Ye Kyaw Thu, Hnin Aye Thant и Nandar Win Min, «Трансляция нейронной машины между языком жестов Мьянмы и письменным текстом Мьянмы», на второй региональной конференции по признанию оптического характера и технологиями обработки естественного языка для Asean Languages 2018 (Ona 2018), 13-14 декабря 2018 года, Phnom Penh, CambodiaIA.
• Тан, Гонбо, Матиас Мюллер, Аннет Риос и Рико Сеннрих. «Почему самодостаточное? Труды EMNLP (2018)

2017

• Домхан, Тобиас и Феликс Хибер. «Использование моноязычных данных на стороне для перевода нейронных машин с помощью многозадачного обучения». Труды EMNLP (2017).