sockeye

Sockeye

Der Sockeye hat den Wartungsmodus eingegeben und fügt keine neuen Funktionen mehr hinzu. Wir danken allen, die während seiner Entwicklung während seiner Entwicklung zu Sockeye beigetragen haben, mit Pull -Anfragen, Ausgabenberichten und vielem mehr.

Sockeye ist ein Open-Source-Sequenz-zu-Sequenz-Framework für neuronale maschinelle Übersetzungen, die auf Pytorch basieren. Es implementiert verteilte Schulungen und eine optimierte Inferenz für hochmoderne Modelle, die Amazon Translate und andere MT-Anwendungen. Jüngste Entwicklungen und Veränderungen werden in unserem ChangeLog verfolgt.

Eine QuickStart-Anleitung zum Training eines Standard-NMT-Modells für jede Datengröße finden Sie im WMT 2014 English-German-Tutorial.

Für Fragen und Ausgabenberichte stellen Sie bitte ein Problem auf GitHub ein.

Version 3.1.x: Nur Pytorch

Mit Version 3.1.x entfernen wir die Unterstützung für mxnet 2.x. Modelle, die mit Pytorch und Sockeye 3.0.x ausgebildet sind, bleiben mit Sockeye 3.1.x. Modelle, die mit 2.3.x (mit MXNET) trainiert und mit Sockeye 3.0.xs Conversion -Tool in Pytorch konvertiert werden, können nicht mit Sockeye 3.1.x verwendet werden.

Version 3.0.0: gleichzeitige Unterstützung von Pytorch und MXNET

Ab Version 3.0.0 basiert Sockeye auch auf Pytorch. Wir behalten die Kompatibilität rückwärts mit MXNET -Modellen von Version 2.3.x mit 3.0.x. Wenn MXNET 2.x installiert ist, kann Sockeye sowohl mit Pytorch als auch mit MXNET ausgeführt werden.

Alle mit 2.3.x trainierten Modelle können in Modelle konvertiert werden, die mit dem Converter CLI ( sockeye.mx_to_pt ) ausgeführt werden. Dadurch wird eine Pytorch -Parameterdatei ( <model>/params.best ) erstellt und die vorhandene MXNET -Parameterdatei in <model>/params.best.mx sichern. Beachten Sie, dass dies nur für voll ausgebildete Modelle gilt, die für die Inferenz verwendet werden sollen. Das fortgesetzte Training eines MXNET -Modells mit Pytorch wird nicht unterstützt (da wir keine Trainings- und Optimiererzustände konvertieren). Bei sockeye.mx_to_pt muss MXNET in die Umgebung installiert werden.

Alle Clis von Version 3.0.0 verwenden nun standardmäßig Pytorch, z sockeye-{train,translate,score} MXNET-basierte CLIS/Module sind weiterhin betriebsbereit und über sockeye-{train,translate,score}-mx .

Sockeye 3 kann ohne MXNET installiert und ausgeführt werden. Wenn jedoch installiert wird, wird jedoch eine erweiterte Testsuite ausgeführt, um die Äquivalenz zwischen Pytorch- und MXNET -Modellen sicherzustellen. Beachten Sie, dass MXNET 2.x mit MXNET mit MXNET ausgestattet ist ( pip install --pre -f https://dist.mxnet.io/python 'mxnet>=2.0.0b2021' ))

Installation

Laden Sie die aktuelle Version von Sockeye herunter:

git clone https://github.com/awslabs/sockeye.git

Installieren Sie das Sockeye -Modul und seine Abhängigkeiten:

 cd sockeye && pip3 install --editable .

Installieren Sie NVIDIA Apex für schnelleres GPU -Training. Nvidia bietet auch Pytorch -Docker -Container mit Apex an.

Dokumentation

• Informationen zur Verwendung von Sockeye finden Sie in unserer Dokumentation.
• Entwickler können an unseren Entwicklerrichtlinien interessiert sein.

Ältere Versionen

• Sockeye 3.0, basierend auf Pytorch & MXNET 2.x, ist in der Zweigstelle sockeye_30 erhältlich.
• Sockeye 2.x, basierend auf der MXNET -Gluon -API, ist in der Niederlassung in sockeye_2 erhältlich.
• Sockeye 1.x, basierend auf der MXNET -Modul -API, ist in der Zweigstelle sockeye_1 verfügbar.

Zitat

Weitere Informationen zu Sockeye finden Sie in unseren Papieren (Bibtex).

Sockeye 3.x

Felix Hieber, Michael Denkowski, Tobias Domhan, Barbara Darques Barros, Celina Dong Ye, Xing Niu, Cuong Hoang, Ke Tran, Benjamin Hsu, Maria Nadejde, Surafel Lake, Prashant Mathur, Anna Currey, Marcello Federico. Sockeye 3: Schnelle neuronale maschinelle Übersetzung mit Pytorch. Arxiv E-Prints.

Sockeye 2.x

Tobias Domhan, Michael Denkowski, David Vilar, Xing Niu, Felix Hieber, Kenneth Heield. Das Sockeye 2 Neural Machine Translation Toolkit bei Amta 2020. Proceedings der 14. Konferenz der Vereinigung für maschinelle Übersetzung in Amerika (Amta'20).

Felix Hieber, Tobias Domhan, Michael Denkowski, David Vilar. Sockeye 2: Ein Toolkit für die Übersetzung neuronaler Maschinen. Proceedings der 22. Jahreskonferenz der Europäischen Vereinigung für maschinelle Übersetzung, Projektstraße (EAMT'20).

Sockeye 1.x

Felix Hieber, Tobias Domhan, Michael Denkowski, David Vilar, Artem Sokolov, Ann Clifton, Matt Post. Das Sockeye Neural Machine Translation Toolkit bei AMTA 2018. Proceedings der 13. Konferenz der Vereinigung für maschinelle Übersetzung in Amerika (Amta'18).

Felix Hieber, Tobias Domhan, Michael Denkowski, David Vilar, Artem Sokolov, Ann Clifton und Matt Post. 2017. Sockeye: Ein Toolkit für die neuronale maschinelle Übersetzung. Arxiv E-Prints.

Forschung mit Sockeye

Sockeye wurde sowohl für die akademische als auch für die industrielle Forschung verwendet. Eine Liste bekannter Veröffentlichungen, die Sockeye verwenden, finden Sie unten. Wenn Sie mehr wissen, teilen Sie uns bitte eine Pull -Anfrage mit (zuletzt aktualisiert: Mai 2022).

2023

• Zhang, Xuan, Kevin Duh, Paul McNamee. "Ein Hyperparameter -Optimierungs -Toolkit für die Forschung mit neuronalen maschinellen Übersetzungen". Verfahren von ACL (2023).

2022

• Currey, Anna, Maria Nădejde, Raghavendra Pappagari, Mia Mayer, Stanislas Lauly, Xing Niu, Benjamin Hsu, Georgiana Dinu. "MT-Geneval: Ein kontrafaktischer und kontextbezogener Datensatz zur Bewertung der Geschlechtergenauigkeit in der maschinellen Übersetzung". Verfahren von EMNLP (2022).
• Domhan, Tobias, Eva Hasler, Ke Tran, Sony Trenous, Bill Byrne und Felix Hieber. "Der Teufel steht im Detail: Über die Fallstricke der Wortschatzauswahl in der neuronalen maschinellen Übersetzung". Verfahren von NAACl-HLT (2022)
• Fischer, Lukas, Patricia Scheurer, Raphael Schwitter, Martin Volk. "Maschinelle Übersetzung von Briefen des 16. Jahrhunderts von Latein bis Deutsch". Workshop über Sprachtechnologien für historische und alte Sprachen (2022).
• Knowles, Rebecca, Patrick Littell. "Übersetzungserinnerungen als Baselines für maschinelle Übersetzung mit niedriger Ressourcen". Verfahren von LREC (2022)
• McNamee, Paul, Kevin Duh. "Der mehrsprachige Microblog-Übersetzungskorpus: Verbesserung und Bewertung der Übersetzung von benutzergenerierten Text". Verfahren von LREC (2022)
• Nadejde Maria, Anna Currey, Benjamin Hsu, Xing Niu, Marcello Federico, Georgiana Dinu. "Cocoa-MT: Ein Datensatz und ein Benchmark für kontrastiv kontrollierten MT mit Anwendung auf die Formalität". Verfahren von NAACl (2022).
• Weller-Di Marco, Marion, Matthias Huck, Alexander Fraser. "Modellierungsmorphologie in der neuronalen maschinellen Übersetzung: Ein Vergleich von Strategien". ARXIV Preprint Arxiv: 2203.13550 (2022)

2021

• Bergmanis, Toms, Mārcis Pinnis. "Erleichterung der Terminologieübersetzung mit Ziel -Lemma -Annotationen". ARXIV Preprint Arxiv: 2101.10035 (2021)
• Briakou, Eleftheria, Marine Carpuat. "Beyond Noise: Minderung der Auswirkungen feinkörniger semantischer Unterschiede auf die neuronale maschinelle Übersetzung". ARXIV Preprint Arxiv: 2105.15087 (2021)
• Hasler, Eva, Tobias Domhan, Sony Trenous, Ke Tran, Bill Byrne, Felix Hieber. "Verbesserung des Qualitätskompromisses für die Multi-Domänen-Anpassung der neuronalen maschinellen Übersetzung". Verfahren von EMNLP (2021)
• Tang, Gongbo, Philipp Rönchen, Rico Sennrich, Joakim Nivre. "Überarbeitung der Negation in der neuronalen maschinellen Übersetzung". Transaktionen der Assoziation für Berechnungslinguistik 9 (2021)
• Vu, Thuy, Alessandro Moschitti. "Anpassung der maschinellen Übersetzung über automatische Auswahl der Trainingsdaten aus dem Web". ARXIV Preprint Arxiv: 2102.1024 (2021)
• Xu, Weijia, Marine Carpuat. "Editor: Ein bearbeitungsbasierter Transformator mit Repositionierung für neuronale maschinelle Übersetzung mit weichen lexikalischen Einschränkungen." Transaktionen der Assoziation für Berechnungslinguistik 9 (2021)
• Müller, Mathias, Rico Sennrich. "Verständnis der Eigenschaften von Mindestbayes -Risikodecodierung bei neuronaler maschineller Übersetzung". Proceedings der 59. Jahrestagung des Vereins für Computational Linguistics und der 11. Internationalen gemeinsamen Konferenz zur Verarbeitung natürlicher Sprache (Band 1: Long Papers) (2021)
• Popović, Maja, Alberto Poncelas. "Über die maschinelle Übersetzung von Benutzerbewertungen." Verfahren von RANLP (2021)
• Popović, Maja. "Über die Natur und die Ursachen für beobachtete MT -Fehler." Verfahren des 18. MT -Gipfels (Band 1: Forschungsstrecke) (2021)
• Jain, Nishtha, Maja Popović, Declan Groves, Eva VanMassenhove. "Erzeugen von geschlechtsspezifischen Daten für NLP." Verfahren des 3. Workshops zur Geschlechterverzerrung in der Verarbeitung natürlicher Sprache (2021)
• Vilar, David, Marcello Federico. "Eine statistische Erweiterung der Byte-Pair-Codierung." Verfahren von IWSLT (2021)

2020

• Dinu, Georgiana, Prashant Mathur, Marcello Federico, Stanislas Lauly, Yaser Al -aizan. "Gemeinsame Übersetzung und Einheitsumwandlung für die End-to-End-Lokalisierung." Verfahren von IWSLT (2020)
• Exel, Miriam, Bianka Buschbeck, Lauritz Brandt, Simona Doneva. "Terminologie, die neuronale maschinelle Übersetzung bei SAP". Verfahren von EAMT (2020).
• Hisamoto, Sorami, Matt Post, Kevin Duh. "Mitgliederinferenzangriffe auf Sequenz-zu-Sequenz-Modelle: Ist meine Daten in Ihrem maschinellen Übersetzungssystem?" Transaktionen der Assoziation für Computational Linguistics, Band 8 (2020)
• Naradowsky, Jason, Xuan Zhan, Kevin Duh. "Auswahl des maschinellen Übersetzungssystems aus Bandit -Feedback." ARXIV Preprint Arxiv: 2002.09646 (2020)
• Niu, Xing, Prashant Mathur, Georgiana Dinu, Yaser al -aizan. "Bewertung der Robustheit für Störungen für die neuronale maschinelle Übersetzung". ARXIV Preprint Arxiv: 2005.00580 (2020)
• NIU, Xing, Marine Carpuat. "Formalalität der neuronalen Maschinenübersetzung mit synthetischer Überwachung." Verfahren von AAAI (2020)
• Keung, Phillip, Julian Salazar, Yichao Liu, Noah A. Smith. "Unüberwachte Bitext-Mining und -übersetzung über selbst ausgestattete kontextbezogene Einbettungen." Arxiv Preprint Arxiv: 2010.07761 (2020).
• Sokolov, Alex, Tracy Rohlin, Ariya Rastrow. "Neuronale maschinelle Übersetzung für die mehrsprachige Umwandlung von Graphem zu Phonem." Arxiv Preprint Arxiv: 2006.14194 (2020)
• Stafanovičs, Artūrs, Toms Bergmanis, Mārcis Pinnis. "Minderung der geschlechtsspezifischen Verzerrung bei der maschinellen Übersetzung mit Anmerkungen des Zielgeschlechts." ARXIV Preprint Arxiv: 2010.06203 (2020)
• Stojanovski, Dario, Alexander Fraser. "Ansprache von Domänen mit Zero-Ressourcen unter Verwendung des Kontextes auf Dokumentenebene in der neuronalen maschinellen Übersetzung." ARXIV Preprint Arxiv Preprint Arxiv: 2004.14927 (2020)
• Stojanovski, Dario, Benno Krojer, Denis Peskov, Alexander Fraser. "Contracat: kontrastive Korreferenzanalysevorlagen für maschinelle Übersetzung". Verfahren von Coling (2020)
• Zhang, Xuan, Kevin Duh. "Reproduzierbare und effiziente Benchmarks für die Hyperparameteroptimierung neuronaler maschineller Übersetzungssysteme." Transaktionen der Assoziation für Computational Linguistics, Band 8 (2020)
• Swe Zin Moe, Ye Kyaw Thu, Hnin Aye Thant, Nandar Win Min und Thepchai Supnithi, "unbeaufsichtigte neuronale maschinelle Übersetzung zwischen Myanmar Gebärdensprache und Myanmar Language", Journal of Intelligent Informatics and Smart Technology, 1. April Ausgabe, 2020, S. 53-61. (Eingereicht am 21. Dezember 2019; angenommen am 6. März 2020; überarbeitet am 16. März 2020; online am 30. April 2020 veröffentlicht)
• Thazin Myint oo, ye kyaw dhu, khin mar soe und thepchai supnithi, "neuronale maschinelle Übersetzung zwischen Myanmar (Burmese) und Dawei (Tavoyan)", in Proceedings der 18. Internationalen Konferenz über Computeranwendungen (ICCA 2020), 27.2010, 2020, Yangon, Myanmar, PP.
• Müller, Mathias, Annette Rios, Rico Sennrich. "Domain Robustheit in der neuronalen maschinellen Übersetzung." Verfahren von Amta (2020)
• Rios, Annette, Mathias Müller, Rico Sennrich. "Subword-Segmentierung und eine einzelne Brückensprache beeinflussen Null-Shot-Übersetzungen für neuronale Maschine." Verfahren der 5. WMT: Forschungsarbeiten (2020)
• Popović, Maja, Alberto Poncelas. "Neuronale maschinelle Übersetzung zwischen ähnlichen südshlawischen Sprachen." Verfahren der 5. WMT: Forschungsarbeiten (2020)
• Popović, Maja, Alberto Poncelas. "Extrahieren korrekt ausgerichteter Segmente aus unreinen parallelen Daten mithilfe von Charakter-N-Gramm-Matching." Verfahren der Konferenz über Sprachtechnologien und digitale Geisteswissenschaften (JTDH 2020).
• Popović, Maja, Alberto Poncelas, Marija Brkic, Andy Way. "Neuronale maschinelle Übersetzung zur Übersetzung in kroatisch und serbisch." Verfahren des 7. Workshops über NLP für ähnliche Sprachen, Sorten und Dialekte (2020)

2019

• Agrawal, Sweta, Marine Carpuat. "Kontrolle der Textkomplexität in der neuronalen maschinellen Übersetzung." Verfahren von EMNLP (2019)
• Beck, Daniel, Trevor Cohn, Gholamreza Haffari. "Neuronale Sprachübersetzung unter Verwendung von Gittertransformationen und Graph -Netzwerken." Proceedings of TextGraphs-13 (EMNLP 2019)
• Currey, Anna, Kenneth Heield. "Null-Ressourcen neuronale maschinelle Übersetzung mit einsprachigen Pivot-Daten." Verfahren von EMNLP (2019)
• Gupta, Prabhakar, Mayank Sharma. "Unüberwachte Übersetzungsqualitätsschätzung für Untertitel für digitale Unterhaltungsinhalte." IEEE International Journal of Semantic Computing (2019)
• Hu, J. Edward, Huda Khayrallah, Ryan Culkin, Patrick Xia, Tongfei Chen, Matt Post und Benjamin Van Durme. "Verbesserte lexikalisch eingeschränkte Dekodierung für die Übersetzung und einsprachiges Umschreiben." Verfahren von Naacl-HLT (2019)
• Rosendahl, Jan, Christian Herold, Yunsu Kim, Miguel Graça, Weiyue Wang, Parnia Bahar, Yingbo Gao und Hermann Ney „Die RWTH Aachen University Machine -Übersetzungssysteme für WMT 2019“ Verfahren der 4. WMT: Forschungspapiere (2019) (2019)
• Thompson, Brian, Jeremy Gwinnup, Huda Khayrallah, Kevin Duh und Philipp Koehn. "Überwindung katastrophaler Vergessen während der Domänenanpassung der neuronalen maschinellen Übersetzung." Verfahren von NAACl-HLT 2019 (2019)
• Tättar, Andre, Elizaveta Korotkova, Mark Fishel „Universität Tartus mehrsprachige Multi-Domänen-WMT19-Nachrichtenübersetzung Shared Task Submission“ von 4. WMT: Research Papers (2019)
• Thazin myint oo, ye kyaw dhu und khin mar soe, "neuronale maschinelle Übersetzung zwischen Myanmar (Burmese) und Rakhine (Arakanese), in Proceedings of the Sechstes Workshop über NLP für ähnliche Sprachen, Sorten und Dialekte, Naacl-2019, 7. Juni, 7. Juni, 7. Juni 2019, Min Minne (USA, 80-2019

2018

• Domhan, Tobias. "Wie viel Aufmerksamkeit brauchen Sie? Eine detaillierte Analyse neuronaler maschineller Übersetzungsarchitekturen". Verfahren der 56. ACL (2018)
• Kim, Yunsu, Yingbo Gao und Hermann Ney. "Effektiver Kreuzungsübertragung neuronaler maschineller Übersetzungsmodelle ohne gemeinsame Vokabulare." Arxiv Preprint Arxiv: 1905.05475 (2019)
• Korotkova, Elizaveta, Maksym del und Mark Fishel. "Einsprachige und bringliche Übertragung im Zero-Shot-Stil." Arxiv Preprint Arxiv: 1808.00179 (2018)
• NIU, Xing, Michael Denkowski und Marine Carpuat. "Bidirektionale neuronale maschinelle Übersetzung mit synthetischen parallelen Daten." Arxiv Preprint Arxiv: 1805.11213 (2018)
• NIU, Xing, Sudha Rao und Marine Carpuat. "Multi-Task-Neuralmodelle zur Übersetzung zwischen Stilen innerhalb und zwischen Sprachen." Coling (2018)
• Post, Matt und David Vilar. "Schnell lexikal eingeschränkte Dekodierung mit dynamischer Strahlzuweisung für die neuronale maschinelle Übersetzung." Verfahren von Naacl-HLT (2018)
• Schamper, Julian, Jan Rosendahl, Parnia Bahar, Yunsu Kim, Arne Nix und Hermann Ney. "Die RWTH Aachen University beaufsichtigte maschinelle Übersetzungssysteme für WMT 2018." Verfahren der 3. WMT: Shared Task Papers (2018)
• Schulz, Philip, Wilker Aziz und Trevor Cohn. "Ein stochastischer Decoder für die neuronale maschinelle Übersetzung." Arxiv Preprint Arxiv: 1805.10844 (2018)
• Tamer, Alkouli, Gabriel Bretschner und Hermann Ney. "Über das Ausrichtungsproblem bei aufmerksamer aufmerksamkeitsbasierter neuronaler maschineller Übersetzung." Verfahren der 3. WMT: Forschungsarbeiten (2018)
• Tang, Gongbo, Rico Sennrich und Joakim Nivre. "Eine Analyse der Aufmerksamkeitsmechanismen: Der Fall der Wortverdünnung der Wortsinn in der neuronalen maschinellen Übersetzung." Proceedings of 3. WMT: Forschungsarbeiten (2018)
• Thompson, Brian, Huda Khayrallah, Antonios Anastasopoulos, Arya McCarthy, Kevin Duh, Rebecca Marvin, Paul McNamee, Jeremy Gwinnup, Tim Anderson und Philipp Koehn. "Einfrieren von Subnetzwerken zur Analyse der Domänenanpassung in der neuronalen maschinellen Übersetzung." Arxiv Preprint Arxiv: 1809.05218 (2018)
• Vilar, David. "Lernen versteckter Einheitsbeitrag zur Anpassung neuronaler maschineller Übersetzungsmodelle." Verfahren von Naacl-HLT (2018)
• Vyas, Yogarshi, Xing NIU und Marine Carpuat „Identifizieren semantischer Abweichungen in parallelem Text ohne Anmerkungen“. Verfahren von Naacl-HLT (2018)
• Wang, Weiyue, Derui Zhu, Tamer Alkhouli, Zixuan Gan und Hermann Ney. "Neural versteckte Markov -Modell für maschinelle Übersetzung". Verfahren der 56. ACL (2018)
• Zhang, Xuan, Gaurav Kumar, Huda Khayrallah, Kenton Murray, Jeremy Gwinnup, Marianna J. Martindale, Paul McNamee, Kevin Duh und Marine Carpuat. "Eine empirische Erforschung des Lehrplanslernens für neuronale maschinelle Übersetzung." Arxiv Preprint Arxiv: 1811.00739 (2018)
• Swe Zin Moe, Ye Kyaw Thu, Hnin Aye Thant und Nandar Win Min, "Neuronale Maschinenübersetzung zwischen Myanmar Gebärdensprache und Myanmar geschriebene Text", in der zweiten regionalen Konferenz über optische Charaktererkennung und Verarbeitung von natürlichen Sprachen für ASEAN Languages 2018 (ONA 2018), 13.-14. Dezember 2018, Phnom Penh, Cambodia.
• Tang, Gongbo, Mathias Müller, Annette Rios und Rico Sennrich. "Warum Selbstbekämpfung? Eine gezielte Bewertung neuronaler Maschinenübersetzungsarchitekturen." Verfahren von EMNLP (2018)

2017

• Domhan, Tobias und Felix Hieber. "Verwenden von Monolingualdaten für die Zielseite für die Übersetzung neuronaler Maschinen durch Multitasking-Lernen." Proceedings of EMNLP (2017).