sockeye

Saubout

Sockeye est entré en mode de maintenance et n'ajoute plus de nouvelles fonctionnalités. Nous sommes reconnaissants à tous ceux qui ont contribué à Sockeye tout au long de son développement avec des demandes de traction, des rapports de problèmes, etc.

Sockeye est un cadre de séquence à séquence open source pour la traduction machine neurale construite sur Pytorch. Il met en œuvre une formation distribuée et une inférence optimisée pour les modèles de pointe, alimentant Amazon Traduction et d'autres applications MT. Des développements et des changements récents sont suivis dans notre modique.

Pour un guide QuickStart pour former un modèle NMT standard sur toute taille de données, consultez le tutoriel anglais-allemand WMT 2014.

Pour les questions et les rapports de problèmes, veuillez déposer un problème sur GitHub.

Version 3.1.x: Pytorch uniquement

Avec la version 3.1.x, nous supprimons la prise en charge de MXNET 2.x. Les modèles formés avec Pytorch et Sockeye 3.0.x restent compatibles avec le sockeye 3.1.x. Des modèles formés avec 2.3.x (en utilisant MXNET) et convertis en pytorch avec l'outil de conversion de Sockeye 3.0.x ne peuvent pas être utilisés avec le sockeye 3.1.x.

Version 3.0.0: Prise en charge simultanée Pytorch et MXNET

À partir de la version 3.0.0, le sauvetage est également basé sur Pytorch. Nous maintenons une compatibilité en arrière avec les modèles MXNET de la version 2.3.x avec 3.0.x. Si MXNET 2.x est installé, Sockeye peut exécuter les deux avec Pytorch ou MXNET.

Tous les modèles formés avec 2.3.x (utilisant MXNET) peuvent être convertis en modèles en cours d'exécution avec Pytorch en utilisant la CLI du convertisseur ( sockeye.mx_to_pt ). Cela créera un fichier de paramètres Pytorch ( <model>/params.best ) et sauvegarde le fichier de paramètre MXNET existant vers <model>/params.best.mx . Notez que cela ne s'applique qu'aux modèles entièrement formés qui doivent être utilisés pour l'inférence. La formation continue d'un modèle MXNET avec Pytorch n'est pas prise en charge (car nous ne convertissons pas les états de formation et d'optimiseur). sockeye.mx_to_pt nécessite que MXNET soit installé dans l'environnement.

Toutes les CLI de la version 3.0.0 utilisent désormais Pytorch par défaut, par exemple sockeye-{train,translate,score} . Les CLI / modules basés sur MXNET sont toujours opérationnels et accessibles via sockeye-{train,translate,score}-mx .

Sockeye 3 peut être installé et exécuté sans MXNET, mais s'il est installé, une suite de test étendue est exécutée pour assurer l'équivalence entre les modèles Pytorch et MXNET. Remarque que Sockeye 3.0.0 en cours d'exécution avec MXNET nécessite l'installation de MXNET 2.x ( pip install --pre -f https://dist.mxnet.io/python 'mxnet>=2.0.0b2021' )

Installation

Téléchargez la version actuelle de Sockeye:

git clone https://github.com/awslabs/sockeye.git

Installez le module Sockeye et ses dépendances:

 cd sockeye && pip3 install --editable .

Pour une formation GPU plus rapide, installez Nvidia Apex. Nvidia fournit également des conteneurs Docker Pytorch qui incluent Apex.

Documentation

• Pour plus d'informations sur la façon d'utiliser le saumockeye, veuillez visiter notre documentation.
• Les développeurs peuvent être intéressés par nos directives de développeurs.

Versions plus anciennes

• Sockeye 3.0, basé sur Pytorch & Mxnet 2.x est disponible dans la branche sockeye_30 .
• Sockeye 2.x, basé sur l'API Gluon MXNET, est disponible dans la branche sockeye_2 .
• Sockeye 1.x, basé sur l'API du module MXNET, est disponible dans la branche sockeye_1 .

Citation

Pour plus d'informations sur le sauvetage, consultez nos articles (Bibtex).

Sockeye 3.x

Felix Hieber, Michael Denkowski, Tobias Domhan, Barbara Darques Barros, Celina Dong Ye, Xing Niu, Cuong Hoang, Ke Tran, Benjamin Hsu, Maria Nadejde, Surafel Lakew, Prashant Mathur, Anna Currey, Marcello Federico. Sockeye 3: Traduction de machine neuronale rapide avec Pytorch. ARXIV E-Impreintes.

Sockeye 2.x

Tobias Domhan, Michael Denkowski, David Vilar, Xing Niu, Felix Hieber, Kenneth Heafield. La boîte à outils de traduction de la machine neurale de Sockeye 2 à AMTA 2020. Actes de la 14e conférence de l'Association for Machine Translation in the Americas (Amta'20).

Felix Hieber, Tobias Domhan, Michael Denkowski, David Vilar. Sockeye 2: une boîte à outils pour la traduction des machines neuronales. Actes de la 22e conférence annuelle de l'Association européenne pour la traduction automatique, Project Track (EAMT'20).

Sockeye 1.x

Felix Hieber, Tobias Domhan, Michael Denkowski, David Vilar, Artem Sokolov, Ann Clifton, Matt Post. La boîte à outils de traduction de la machine neurale de la saumon à l'AMTA 2018. Actes de la 13e conférence de l'Association for Machine Translation in the Americas (Amta'18).

Felix Hieber, Tobias Domhan, Michael Denkowski, David Vilar, Artem Sokolov, Ann Clifton et Matt Post. 2017. Sockeye: une boîte à outils pour la traduction des machines neuronales. ARXIV E-Impreintes.

Recherche avec le sauvetage

Sockeye a été utilisé pour la recherche académique et industrielle. Une liste de publications connues qui utilisent le sauvetage est présentée ci-dessous. Si vous en savez plus, veuillez nous faire savoir ou soumettre une demande de traction (dernière mise à jour: mai 2022).

2023

• Zhang, Xuan, Kevin Duh, Paul McNamee. "Une boîte à outils d'optimisation de l'hyperparamètre pour la recherche de traduction automatique neuronale". Actes de l'ACL (2023).

2022

• Currey, Anna, Maria Nădejde, Raghavendra Pappagari, Mia Mayer, Stanislas Lauly, Xing Niu, Benjamin Hsu, Georgiana Dinu. "MT-Geneval: un ensemble de données contrefactuel et contextuel pour évaluer la précision de genre dans la traduction automatique". Actes de l'EMNLP (2022).
• Domhan, Tobias, Eva Hasler, Ke Tran, Sony Trenous, Bill Byrne et Felix Hieber. "Le diable est dans les détails: sur les pièges de la sélection du vocabulaire dans la traduction des machines neuronales". Actes de NAACL-HLT (2022)
• Fischer, Lukas, Patricia Scheurer, Raphael Schwitter, Martin Volk. "Traduction machine des lettres du 16ème siècle du latin à l'allemand". Atelier sur les technologies linguistiques pour les langues historiques et anciennes (2022).
• Knowles, Rebecca, Patrick Littell. "Mémoires de traduction comme lignes de base pour la traduction machine à faible ressource". Actes de LREC (2022)
• McNamee, Paul, Kevin Duh. "Le Corpus de traduction Microblog multilingue: amélioration et évaluation de la traduction du texte généré par l'utilisateur". Actes de LREC (2022)
• Nadejde Maria, Anna Currey, Benjamin Hsu, Xing Niu, Marcello Federico, Georgiana Dinu. "Cocoa-MT: un ensemble de données et une référence pour MT contrôlé contrasté avec une application à la formalité". Actes de NAACL (2022).
• Weller-Di Marco, Marion, Matthias Huck, Alexander Fraser. "Modélisation de la morphologie du côté cible dans la traduction des machines neuronales: comparaison des stratégies". ARXIV Préprint Arxiv: 2203.13550 (2022)

2021

• Bergmanis, Toms, Mārcis Pinnis. "Faciliter la traduction de terminologie avec des annotations cibles du lemme". ARXIV Préprint Arxiv: 2101.10035 (2021)
• Briakou, Eleftheria, Carpuat marin. "Au-delà du bruit: atténuer l'impact des divergences sémantiques à grains fins sur la traduction des machines neuronales". ARXIV Préprint Arxiv: 2105.15087 (2021)
• Hasler, Eva, Tobias Domhan, Sony Trenous, Ke Tran, Bill Byrne, Felix Hieber. "Amélioration du compromis de qualité pour l'adaptation multi-domaines de la traduction des machines neuronales". Actes de l'EMNLP (2021)
• Tang, Gongbo, Philipp Rönchen, Rico Sennrich, Joakim Nivre. "Revisiter la négation dans la traduction des machines neuronales". Transactions de l'Association for Computation Linguistics 9 (2021)
• Vu, Thuy, Alessandro Moschitti. "Personnalisation de la traduction automatique via la sélection automatique des données de formation à partir du Web". ARXIV Préprint Arxiv: 2102.1024 (2021)
• Xu, Weijia, Carpuat marin. "Éditeur: un transformateur basé sur l'édition avec le repositionnement pour la traduction de la machine neuronale avec des contraintes lexicales souples." Transactions de l'Association for Computation Linguistics 9 (2021)
• Müller, Mathias, Rico Sennrich. "Comprendre les propriétés du décodage de risque minimum de Bayes dans la traduction de la machine neuronale". Actes de la 59e réunion annuelle de l'Association for Computational Linguistics et de la 11e Conférence conjointe internationale sur le traitement du langage naturel (Volume 1: Papiers longs) (2021)
• Popović, Maja, Alberto Poncelas. "Sur la traduction machine des avis des utilisateurs." Actes de RanLP (2021)
• Popović, Maja. "Sur la nature et les causes des erreurs de MT observées." Actes du 18e MT Summit (Volume 1: Research Track) (2021)
• Jain, Nishtha, Maja Popović, Declan Groves, Eva Vanmassenhove. "Génération de données augmentées entre les sexes pour la PNL." Actes du 3e atelier sur les biais de genre dans le traitement du langage naturel (2021)
• Vilar, David, Marcello Federico. "Une extension statistique de l'encodage des paires d'octets." Actes d'IWSLT (2021)

2020

• Dinu, Georgiana, Prashant Mathur, Marcello Federico, Stanislas Lauly, Yaser Al-Onizan. "Traduction conjointe et conversion unitaire pour la localisation de bout en bout." Actes d'IWSLT (2020)
• Exel, Miriam, Bianka Buschbeck, Lauritz Brandt, Simona Doneva. "Traduction de machine neurale limitée en terminologie à SAP". Actes d'EAMT (2020).
• Hisamoto, Sorami, Matt Post, Kevin Duh. "Les attaques d'inférence de l'adhésion contre les modèles de séquence à séquence: mes données dans votre système de traduction automatique sont-elles?" Transactions de l'Association for Computational Linguistics, Volume 8 (2020)
• Naradowsky, Jason, Xuan Zhan, Kevin Duh. "Sélection du système de traduction automatique à partir de la rétroaction de bandit." ARXIV Préprint Arxiv: 2002.09646 (2020)
• Niu, Xing, Prashant Mathur, Georgiana Dinu, Yaser Al-Onaizan. "Évaluation de la robustesse aux perturbations d'entrée pour la traduction de la machine neuronale". ARXIV Préprint Arxiv: 2005.00580 (2020)
• Niu, Xing, Marine Carpuat. "Contrôle de la formalité de la traduction de la machine neurale avec supervision synthétique." Actes de AAAI (2020)
• Keung, Phillip, Julian Salazar, Yichao Liu, Noah A. Smith. "L'exploitation et la traduction des morsures non supervisées via des intégres contextuels auto-formés." ARXIV Préprint Arxiv: 2010.07761 (2020).
• Sokolov, Alex, Tracy Rohlin, Ariya Rastrow. "Traduction de machine neurale pour la conversion multilingue de graphème à phonème." ARXIV Préprint Arxiv: 2006.14194 (2020)
• Stafanovičs, Artūrs, Toms Bergmanis, Mārcis Pinnis. "Atténuer le biais de genre dans la traduction automatique avec des annotations de genre cibles." ARXIV Préprint Arxiv: 2010.06203 (2020)
• Stojanovski, Dario, Alexander Fraser. "Aborder les domaines zéro-ressources à l'aide du contexte au niveau du document dans la traduction de la machine neuronale." ARXIV Préprint ARXIV Preprint Arxiv: 2004.14927 (2020)
• Stojanovski, Dario, Benno Krojer, Denis Peskov, Alexander Fraser. "Contacat: Modèles analytiques de la coreférence contrastive pour la traduction automatique". Actes de Coling (2020)
• Zhang, Xuan, Kevin Duh. "Benchmarks reproductibles et efficaces pour l'optimisation de l'hyperparamètre des systèmes de traduction de la machine neuronale." Transactions de l'Association for Computational Linguistics, Volume 8 (2020)
• Swe Zin Moe, Ye Kyaw Thu, Hnin Aye Thant, Nandar Win Min et Thepchai Supnithi, "Traduction de machine neuronale non supervisée entre la langue des signes du Myanmar et Myanmar Language", Journal of Intelligent Informatics and Smart Technology, 1er avril, 2020, pp. 53-61. (Soumis le 21 décembre 2019; accepté le 6 mars 2020; révisé le 16 mars 2020; publié en ligne le 30 avril 2020)
• Thazin Myint OO, Ye Kyaw Thu, Khin Mar Soe et Thepchai Supnithi, "Traduction de machine neurale entre le Myanmar (Birman) et Dawei (Tavoyan)", dans Actes de la 18e Conférence internationale sur les applications informatiques (ICCA 2020), 27-28 février, 2020, Yangon, Myanmar, Pp.
• Müller, Mathias, Annette Rios, Rico Sennrich. "La robustesse du domaine dans la traduction des machines neuronales." Actes de l'AMTA (2020)
• Rios, Annette, Mathias Müller, Rico Sennrich. "La segmentation des sous-mots et un seul langage de pont affectent la traduction de la machine neuronale à tirs zéro." Actes du 5e WMT: Documents de recherche (2020)
• Popović, Maja, Alberto Poncelas. "Traduction de machine neurale entre des langues sud-slaviques similaires." Actes du 5e WMT: Documents de recherche (2020)
• Popović, Maja, Alberto Poncelas. "Extraction des segments correctement alignés à partir de données parallèles non parallèles à l'aide de la correspondance du caractère n-gram." Actes de la conférence sur les technologies linguistiques et les sciences humaines numériques (JTDH 2020).
• Popović, Maja, Alberto Poncelas, Marija Brkic, Andy Way. "Traduction de machine neurale pour traduire en croate et serbe." Actes du 7e atelier sur la PNL pour des langues, des variétés et des dialectes similaires (2020)

2019

• Agrawal, Sweta, Marine Carpuat. "Contrôle de la complexité du texte dans la traduction des machines neuronales." Actes de l'EMNLP (2019)
• Beck, Daniel, Trevor Cohn, Gholamreza Haffari. "La traduction de la parole neuronale à l'aide de transformations de réseau et de réseaux de graphiques." Actes de TextGraphs-13 (EMNLP 2019)
• Currey, Anna, Kenneth Heafield. "Traduction de machine neuronale à ressources zéro avec des données de pivot monolingue." Actes de l'EMNLP (2019)
• Gupta, Prabhakar, Mayank Sharma. "Estimation de la qualité de la traduction non supervisée pour les sous-titres de contenu de divertissement numérique." IEEE International Journal of Semantic Computing (2019)
• Hu, J. Edward, Huda Khayrallah, Ryan Culkin, Patrick Xia, Tongfei Chen, Matt Post et Benjamin Van Durme. "Amélioration du décodage limité lexicalement pour la traduction et la réécriture monolingue." Actes de NAACL-HLT (2019)
• Rosendahl, Jan, Christian Herold, Yunsu Kim, Miguel Graça, Weiyue Wang, Parnia Bahar, Yingbo Gao et Hermann Ney «The Rwth Aachen University Traduction Systems for WMT 2019» du 4e WMT: Papiers de recherche (2019)
• Thompson, Brian, Jeremy Gwinnup, Huda Khayrallah, Kevin Duh et Philipp Koehn. "Surmonter l'oubli catastrophique lors de l'adaptation du domaine de la traduction des machines neuronales." Actes de NAACL-HLT 2019 (2019)
• Tättar, Andre, Elizaveta Korotkova, Mark Fishel «Traduction de la Tartu de Tartu Multi-domaine WMT19 Traduction partagée Soumission de tâches» Actes de 4e WMT: Research Papers (2019)
• Thazin Myint Oo, Ye Kyaw Thu et Khin Mar Soe, "Traduction de machine neurale entre le Myanmar (Birman) et Rakhine (Arakanais)", dans Actes du sixième atelier sur le NLP pour les langues similaires, les variétés et les dialectes, NAACL-2019, 7 juin 2019, Minneapolis, États-Unis, pp. 80-88.

2018

• Domhan, Tobias. "De combien d'attention avez-vous besoin? Une analyse granulaire des architectures de traduction des machines neurales". Actes du 56e ACL (2018)
• Kim, Yunsu, Yingbo Gao et Hermann Ney. "Transfert inter-lingual efficace de modèles de traduction de machines neuronaux sans vocabulaire partagé." ARXIV Préprint Arxiv: 1905.05475 (2019)
• Korotkova, Elizaveta, Maksym del et Mark Fishel. "Transfert de style monolingue et inter-lingual." ARXIV Préprint Arxiv: 1808.00179 (2018)
• Niu, Xing, Michael Denkowski et Marine Carpuat. "Traduction de machine neuronale bidirectionnelle avec des données parallèles synthétiques." ARXIV Préprint Arxiv: 1805.11213 (2018)
• Niu, Xing, Sudha Rao et Marine Carpuat. "Modèles neuronaux multi-tâches pour traduire entre les styles à l'intérieur et à travers les langues." Coling (2018)
• Post, Matt et David Vilar. "Décodage rapide à contrainte lexicalement avec une allocation de faisceau dynamique pour la traduction de la machine neuronale." Actes de NAACL-HLT (2018)
• Schamper, Julian, Jan Rosendahl, Parnia Bahar, Yunsu Kim, Arne Nix et Hermann Ney. "La RWTH Aachen University a supervisé les systèmes de traduction machine pour WMT 2018." Actes du 3e WMT: Papiers de tâches partagés (2018)
• Schulz, Philip, Wilker Aziz et Trevor Cohn. "Un décodeur stochastique pour la traduction des machines neuronales." ARXIV Préprint Arxiv: 1805.10844 (2018)
• Tamer, Alkouli, Gabriel Bretschner et Hermann Ney. "Sur le problème d'alignement dans la traduction de machines neuronales basée sur l'attention multiples." Actes du 3e WMT: Documents de recherche (2018)
• Tang, Gongbo, Rico Sennrich et Joakim Nivre. "Une analyse des mécanismes d'attention: le cas de la désambiguïsation du sens des mots dans la traduction des machines neuronales." Actes du 3e WMT: Documents de recherche (2018)
• Thompson, Brian, Huda Khayrallah, Antonios Anastasopoulos, Arya McCarthy, Kevin Duh, Rebecca Marvin, Paul McNamee, Jeremy Gwinnup, Tim Anderson et Philipp Koehn. "GÉLÉSING SOUS-NETTRAUSSEMENTS pour analyser l'adaptation du domaine dans la traduction des machines neuronales." ARXIV Préprint Arxiv: 1809.05218 (2018)
• Vilar, David. "Apprendre une contribution unitaire cachée pour adapter les modèles de traduction de la machine neuronale." Actes de NAACL-HLT (2018)
• Vyas, Yogarshi, Xing Niu et Marine Carpuat «Identification des divergences sémantiques dans un texte parallèle sans annotations». Actes de NAACL-HLT (2018)
• Wang, Weiyue, Derui Zhu, Tamer Alkhouli, Zixuan Gan et Hermann Ney. "Modèle de Markov caché neural pour la traduction machine". Actes du 56e ACL (2018)
• Zhang, Xuan, Gaurav Kumar, Huda Khayrallah, Kenton Murray, Jeremy Gwinnup, Marianna J Martindale, Paul McNamee, Kevin Duh et Marine Carpuat. "Une exploration empirique de l'apprentissage du curriculum pour la traduction des machines neuronales." ARXIV Préprint Arxiv: 1811.00739 (2018)
• Swe Zin Moe, Ye Kyaw Thu, Hnin Aye Thant et Nandar Win Min, "Neural Machine Traduction between Myanmar Sign Language et Myanmar écrit du texte", dans la deuxième conférence régionale sur la reconnaissance optique des caractères et les technologies de traitement naturel pour les langues de l'Asean 2018 (ONA 2018), 13-14 décembre, 2018, Phnom Penh, Cambodia.
• Tang, Gongbo, Mathias Müller, Annette Rios et Rico Sennrich. "Pourquoi l'auto-atténuer? Une évaluation ciblée des architectures de traduction des machines neuronales." Actes d'EMNLP (2018)

2017

• Domhan, Tobias et Felix Hieber. "Utilisation de données monolingues côté cible pour la traduction de la machine neuronale via l'apprentissage multi-tâches." Actes de l'EMNLP (2017).