sockeye

Sockeye

Sockeye telah memasuki mode pemeliharaan dan tidak lagi menambahkan fitur baru. Kami berterima kasih kepada semua orang yang telah berkontribusi pada Sockeye sepanjang pengembangannya dengan permintaan tarik, laporan masalah, dan banyak lagi.

Sockeye adalah kerangka kerja sekuens-ke-urutan open-source untuk terjemahan mesin saraf yang dibangun di Pytorch. Ini mengimplementasikan pelatihan terdistribusi dan inferensi yang dioptimalkan untuk model yang canggih, memberi daya pada Amazon Translate dan aplikasi MT lainnya. Perkembangan dan perubahan terbaru dilacak dalam changelog kami.

Untuk panduan cepat untuk melatih model NMT standar pada ukuran data apa pun, lihat tutorial WMT 2014 English-Jerman.

Untuk pertanyaan dan laporan masalah, silakan ajukan masalah di GitHub.

Versi 3.1.x: Pytorch saja

Dengan versi 3.1.x, kami menghapus dukungan untuk MXNET 2.x. Model yang dilatih dengan Pytorch dan Sockeye 3.0.x tetap kompatibel dengan Sockeye 3.1.x. Model yang dilatih dengan 2.3.x (menggunakan MXNET) dan dikonversi ke Pytorch dengan alat konversi Sockeye 3.0.x tidak dapat digunakan dengan sockeye 3.1.x.

Versi 3.0.0: Dukungan Pytorch dan MXNet Concurrent

Dimulai dengan versi 3.0.0, sockeye juga didasarkan pada pytorch. Kami mempertahankan kompatibilitas mundur dengan model MXNET versi 2.3.x dengan 3.0.x. Jika MXNET 2.x dipasang, sockeye dapat menjalankan keduanya dengan pytorch atau mxnet.

Semua model yang dilatih dengan 2.3.x (menggunakan MXNET) dapat dikonversi menjadi model yang berjalan dengan Pytorch menggunakan Converter CLI ( sockeye.mx_to_pt ). Ini akan membuat file parameter PyTorch ( <model>/params.best ) dan cadangan file parameter MXNET yang ada ke <model>/params.best.mx . Perhatikan bahwa ini hanya berlaku untuk model terlatih penuh yang akan digunakan untuk inferensi. Pelatihan berkelanjutan dari model MXNET dengan Pytorch tidak didukung (karena kami tidak mengonversi pelatihan dan pengoptimal negara). sockeye.mx_to_pt mengharuskan mxnet untuk diinstal ke lingkungan.

Semua clis versi 3.0.0 sekarang menggunakan pytorch secara default, misalnya sockeye-{train,translate,score} . Modul/modul berbasis MXNet masih operasional dan dapat diakses melalui sockeye-{train,translate,score}-mx .

Sockeye 3 dapat diinstal dan dijalankan tanpa MXNET, tetapi jika dipasang, rangkaian tes yang diperluas dieksekusi untuk memastikan kesetaraan antara model Pytorch dan MXNET. Perhatikan bahwa menjalankan sockeye 3.0.0 dengan mxnet memerlukan mxnet 2.x untuk diinstal ( pip install --pre -f https://dist.mxnet.io/python 'mxnet>=2.0.0b2021' )

Instalasi

Unduh versi sockeye saat ini:

git clone https://github.com/awslabs/sockeye.git

Instal Modul Sockeye dan Ketergantungannya:

 cd sockeye && pip3 install --editable .

Untuk pelatihan GPU yang lebih cepat, instal NVIDIA APEX. NVIDIA juga menyediakan wadah Docker Pytorch yang mencakup Apex.

Dokumentasi

• Untuk informasi tentang cara menggunakan sockeye, silakan kunjungi dokumentasi kami.
• Pengembang mungkin tertarik dengan pedoman pengembang kami.

Versi yang lebih tua

• Sockeye 3.0, berdasarkan Pytorch & Mxnet 2.x tersedia di Cabang sockeye_30 .
• Sockeye 2.x, berdasarkan API MXNet Gluon, tersedia di cabang sockeye_2 .
• Sockeye 1.x, berdasarkan API Modul MXNET, tersedia di cabang sockeye_1 .

Kutipan

Untuk informasi lebih lanjut tentang sockeye, lihat makalah kami (Bibtex).

Sockeye 3.x

Felix Hieber, Michael Denkowski, Tobias Domhan, Barbara Darques Barros, Celina Dong Ye, Xing Niu, Cuong Hoang, Ke Tran, Benjamin Hsu, Maria Nadejde, Surafel Lakew, Prashant Mathur, Anna Currey, Marcello Federico. Sockeye 3: Terjemahan Mesin Saraf Cepat dengan Pytorch. ARXIV E-print.

Sockeye 2.x

Tobias Domhan, Michael Denkowski, David Vilar, Xing Niu, Felix Hieber, Kenneth Heelfield. Toolkit terjemahan Sockeye 2 Neural Machine di AMTA 2020. Prosiding Konferensi ke -14 Asosiasi untuk Terjemahan Mesin di Amerika (AMTA'20).

Felix Hieber, Tobias Domhan, Michael Denkowski, David Vilar. Sockeye 2: Toolkit untuk terjemahan mesin saraf. Prosiding Konferensi Tahunan ke -22 Asosiasi Eropa untuk Terjemahan Mesin, Track Proyek (EAMT'20).

Sockeye 1.x

Felix Hieber, Tobias Domhan, Michael Denkowski, David Vilar, Artem Sokolov, Ann Clifton, Matt Post. Toolkit terjemahan Sockeye Neural Machine di AMTA 2018. Prosiding Konferensi ke -13 Asosiasi untuk Terjemahan Mesin di Amerika (AMTA'18).

Felix Hieber, Tobias Domhan, Michael Denkowski, David Vilar, Artem Sokolov, Ann Clifton dan Matt Post. 2017. Sockeye: Toolkit untuk terjemahan mesin saraf. ARXIV E-print.

Penelitian dengan sockeye

Sockeye telah digunakan untuk penelitian akademik dan industri. Daftar publikasi yang diketahui yang menggunakan sockeye ditunjukkan di bawah ini. Jika Anda tahu lebih banyak, beri tahu kami atau mengirimkan permintaan tarik (terakhir diperbarui: Mei 2022).

2023

• Zhang, Xuan, Kevin Duh, Paul McNamee. "Toolkit Optimasi Hyperparameter untuk Penelitian Terjemahan Mesin Saraf". Prosiding ACL (2023).

2022

• Currey, Anna, Maria Nădejde, Raghavendra Pappagari, Mia Mayer, Stanislas Lauly, Xing Niu, Benjamin Hsu, Georgiana Dinu. "MT-Geneval: Dataset kontrafaktual dan kontekstual untuk mengevaluasi akurasi gender dalam terjemahan mesin". Prosiding EMNLP (2022).
• Domhan, Tobias, Eva Hasler, Ke Tran, Sony Trenous, Bill Byrne dan Felix Hieber. "The Devil ada dalam detailnya: pada jebakan seleksi kosa kata dalam terjemahan mesin saraf". Prosiding NAACL-HLT (2022)
• Fischer, Lukas, Patricia Scheurer, Raphael Schwitter, Martin Volk. "Terjemahan Mesin dari huruf abad ke -16 dari bahasa Latin ke Jerman". Lokakarya tentang Teknologi Bahasa untuk Bahasa Sejarah dan Kuno (2022).
• Knowles, Rebecca, Patrick Littell. "Kenangan terjemahan sebagai garis dasar untuk terjemahan mesin sumber daya rendah". Prosiding LREC (2022)
• McNamee, Paul, Kevin Duh. "Corpus terjemahan mikroblog multibahasa: meningkatkan dan mengevaluasi terjemahan teks yang dibuat pengguna". Prosiding LREC (2022)
• Nadejde Maria, Anna Currey, Benjamin Hsu, Xing NIU, Marcello Federico, Georgiana Dinu. "Cocoa-MT: Dataset dan tolok ukur untuk MT yang dikontrol kontras dengan aplikasi ke formalitas". Prosiding NAACL (2022).
• Weller-Di Marco, Marion, Matthias Huck, Alexander Fraser. "Pemodelan morfologi sisi target dalam terjemahan mesin saraf: perbandingan strategi". Arxiv Preprint ARXIV: 2203.13550 (2022)

2021

• Bergmanis, Toms, Mārcis Pinnis. "Memfasilitasi terjemahan terminologi dengan anotasi target lemma". Arxiv Preprint ARXIV: 2101.10035 (2021)
• Briakou, Eleftheria, Marine Carpuat. "Beyond Noise: Mengurangi dampak divergensi semantik berbutir halus pada terjemahan mesin saraf". ARXIV Preprint ARXIV: 2105.15087 (2021)
• Hasler, Eva, Tobias Domhan, Sony Trenous, Ke Tran, Bill Byrne, Felix Hieber. "Meningkatkan pertukaran kualitas untuk adaptasi multi-domain terjemahan mesin saraf". Prosiding EMNLP (2021)
• Tang, Gongbo, Philipp Rönchen, Rico Sennrich, Joakim Nivre. "Meninjau kembali negasi dalam terjemahan mesin saraf". Transaksi Asosiasi untuk Komputasi Linguistik 9 (2021)
• Vu, Thuy, Alessandro Moschitti. "Kustomisasi terjemahan mesin melalui pemilihan data pelatihan otomatis dari web". ARXIV Preprint ARXIV: 2102.1024 (2021)
• Xu, Weijia, Carpuat Marine. "Editor: transformator berbasis edit dengan reposisi untuk terjemahan mesin saraf dengan kendala leksikal lembut." Transaksi Asosiasi untuk Komputasi Linguistik 9 (2021)
• Müller, Mathias, Rico Sennrich. "Memahami sifat -sifat decoding risiko Bayes minimum dalam terjemahan mesin saraf". Prosiding Pertemuan Tahunan ke -59 Asosiasi Linguistik Komputasi dan Konferensi Gabungan Internasional ke -11 tentang Pemrosesan Bahasa Alami (Volume 1: Long Papers) (2021)
• Popović, Maja, Alberto Poncelas. "Tentang Terjemahan Mesin Ulasan Pengguna." Prosiding Ranlp (2021)
• Popović, Maja. "Tentang alam dan penyebab kesalahan MT yang diamati." Prosiding KTT MT ke -18 (Volume 1: Track Penelitian) (2021)
• Jain, Nishtha, Maja Popović, Declan Groves, Eva Vanmassenhove. "Menghasilkan data augmented gender untuk NLP." Prosiding Lokakarya ke -3 tentang Bias Jender dalam Pemrosesan Bahasa Alami (2021)
• Vilar, David, Marcello Federico. "Perpanjangan Statistik Pengkodean Byte-Pair." Prosiding IWSLT (2021)

2020

• Dinu, Georgiana, Prashant Mathur, Marcello Federico, Stanislas Lauly, Yaser al-Aaizan. "Terjemahan bersama dan konversi unit untuk lokalisasi ujung ke ujung." Prosiding IWSLT (2020)
• Exel, Miriam, Bianka Buschbeck, Lauritz Brandt, Simona Doneva. "Terjemahan mesin saraf yang dibatasi terminologi di SAP". Prosiding EAMT (2020).
• Hisamoto, Sorami, Matt Post, Kevin Duh. "Serangan inferensi keanggotaan pada model urutan-ke-urutan: Apakah data saya di sistem terjemahan mesin Anda?" Transaksi Asosiasi Linguistik Komputasi, Volume 8 (2020)
• Naradowsky, Jason, Xuan Zhan, Kevin Duh. "Pemilihan sistem terjemahan mesin dari umpan balik bandit." Arxiv Preprint Arxiv: 2002.09646 (2020)
• Niu, Xing, Prashant Mathur, Georgiana Dinu, Yaser al-Aaizan. "Mengevaluasi ketahanan terhadap gangguan input untuk terjemahan mesin saraf". Arxiv Preprint Arxiv: 2005.00580 (2020)
• Niu, xing, carpuat laut. "Mengontrol formalitas terjemahan mesin saraf dengan pengawasan sintetis." Prosiding AAAI (2020)
• Keung, Phillip, Julian Salazar, Yichao Liu, Noah A. Smith. "Penambangan dan terjemahan Bitext tanpa pengawasan melalui embeddings kontekstual yang terlatih sendiri." ARXIV Preprint ARXIV: 2010.07761 (2020).
• Sokolov, Alex, Tracy Rohlin, Ariya Rastrow. "Terjemahan Mesin Saraf untuk Konversi Grapheme-to-Phoneme Multilingual." ARXIV Preprint ARXIV: 2006.14194 (2020)
• Stafanovičs, Artūrs, Toms Bergmanis, Mārcis Pinnis. "Memitigasi bias gender dalam terjemahan mesin dengan anotasi gender target." ARXIV Preprint ARXIV: 2010.06203 (2020)
• Stojanovski, Dario, Alexander Fraser. "Mengatasi domain nol-sumber daya menggunakan konteks tingkat dokumen dalam terjemahan mesin saraf." arxiv preprint arxiv preprint arxiv: 2004.14927 (2020)
• Stojanovski, Dario, Benno Krojer, Denis Peskov, Alexander Fraser. "Contracat: Templat Analitik Coreference Kontras untuk Terjemahan Mesin". Prosiding Coling (2020)
• Zhang, Xuan, Kevin Duh. "Tolok ukur yang dapat direproduksi dan efisien untuk optimalisasi hiperparameter sistem terjemahan mesin saraf." Transaksi Asosiasi Linguistik Komputasi, Volume 8 (2020)
• Swe zin moe, kamu kyaw thu, hnin aye thant, nandar win min, dan thepchai supnithi, "terjemahan mesin saraf tanpa pengawasan antara bahasa isyarat myanmar dan bahasa myanmar", jurnal informatika cerdas dan teknologi pintar, edisi 1 April, 2020, hlm. 53-61. (Dikirim 21 Desember 2019; diterima 6 Maret 2020; direvisi 16 Maret 2020; diterbitkan online 30 April 2020)
• Thazin Myint Oo, Ye Kyaw Thu, Khin Mar Soe and Thepchai Supnithi, "Neural Machine Translation between Myanmar (Burmese) and Dawei (Tavoyan)", In Proceedings of the 18th International Conference on Computer Applications (ICCA 2020), Feb 27-28, 2020, Yangon, Myanmar, pp. 219-227
• Müller, Mathias, Annette Rios, Rico Sennrich. "Ketahanan domain dalam terjemahan mesin saraf." Prosiding AMTA (2020)
• Rios, Annette, Mathias Müller, Rico Sennrich. "Subword Segmentation dan Bahasa Jembatan Tunggal Mempengaruhi Terjemahan Mesin Saraf Zero-Shot." Prosiding WMT ke -5: Makalah Penelitian (2020)
• Popović, Maja, Alberto Poncelas. "Terjemahan Mesin Saraf antara Bahasa Slavik Selatan yang serupa." Prosiding WMT ke -5: Makalah Penelitian (2020)
• Popović, Maja, Alberto Poncelas. "Mengekstraksi segmen yang disejajarkan dengan benar dari data paralel najis menggunakan pencocokan karakter N-gram." Prosiding Konferensi Teknologi Bahasa & Humaniora Digital (JTDH 2020).
• Popović, Maja, Alberto Poncelas, Marija Brkic, Andy Way. "Terjemahan mesin saraf untuk diterjemahkan ke dalam Kroasia dan Serbia." Prosiding lokakarya ke -7 tentang NLP untuk bahasa, varietas, dan dialek yang serupa (2020)

2019

• Agrawal, Sweta, Carpuat Marine. "Mengontrol kompleksitas teks dalam terjemahan mesin saraf." Prosiding EMNLP (2019)
• Beck, Daniel, Trevor Cohn, Gholamreza Haffari. "Terjemahan Pidato Saraf Menggunakan Transformasi Kisi dan Jaringan Grafik." Prosiding TextGraphs-13 (EMNLP 2019)
• Currey, Anna, Kenneth Heafield. "Terjemahan Mesin Saraf Zero-Resource dengan data pivot monolingual." Prosiding EMNLP (2019)
• Gupta, Prabhakar, Mayank Sharma. "Estimasi Kualitas Terjemahan Tanpa Diawasi untuk Subtitle Konten Hiburan Digital." IEEE International Journal of Semantic Computing (2019)
• Hu, J. Edward, Huda Khayrallah, Ryan Culkin, Patrick Xia, Tongfei Chen, Matt Post, dan Benjamin Van Durme. "Peningkatan decoding yang dibatasi secara leksikal untuk terjemahan dan penulisan ulang monolingual." Prosiding NAACL-HLT (2019)
• RosendaHl, Jan, Christian Herold, Yunsu Kim, Miguel Graça, Weiyue Wang, Parnia Bahar, Yingbo Gao dan Hermann Ney “Sistem Terjemahan Mesin Universitas RWTH (2019) untuk WMT 2019” Prosiding WMT ke -4: Makalah Penelitian (2019)
• Thompson, Brian, Jeremy Gwinnup, Huda Khayrallah, Kevin Duh, dan Philipp Koehn. "Mengatasi lupa bencana selama adaptasi domain dari terjemahan mesin saraf." Prosiding NAACL-HLT 2019 (2019)
• Tättar, Andre, Elizaveta Korotkova, Mark Fishel “University of Tartu Multi-Domain Multi-Domain WMT19 Berita Terjemahan Bersama Pengajuan Tugas” Prosiding WMT ke-4: Makalah Penelitian (2019)
• Thazin myint oo, kamu Kyaw Thu dan Khin Mar Soe, "Terjemahan Mesin Saraf antara Myanmar (Burma) dan Rakhine (Arakanese)", dalam Prosiding Lokakarya Keenam tentang NLP untuk Bahasa, Varietas dan Dialek, NAACL-2019, NAACL-2019, 7 Juni 2019, Minneap, Minneap, Minneap, Minneap, Minneap, Minneap, Minneap, Minneap, Minneap, Minneap, Minneap, Minneap, Minneap, Minneap, Minneap, Minneap, Minneap, Minneap, Minneap, Minneap, Minneap.

2018

• Domhan, Tobias. "Berapa banyak perhatian yang Anda butuhkan? Analisis granular arsitektur terjemahan mesin saraf". Prosiding ACL ke -56 (2018)
• Kim, Yunsu, Yingbo Gao, dan Hermann Ney. "Transfer lintas-bahasa yang efektif dari model terjemahan mesin saraf tanpa kosakata bersama." Arxiv Preprint Arxiv: 1905.05475 (2019)
• Korotkova, Elizaveta, Maksym del, dan Mark Fishel. "Transfer gaya zero-shot monolingual dan lintas-bahasa." ARXIV Preprint ARXIV: 1808.00179 (2018)
• Niu, Xing, Michael Denkowski, dan Marine Carpuat. "Terjemahan mesin saraf dua arah dengan data paralel sintetis." ARXIV Preprint ARXIV: 1805.11213 (2018)
• Niu, Xing, Sudha Rao, dan Carpuat Marine. "Model saraf multi-tugas untuk menerjemahkan antar gaya di dalam dan lintas bahasa." Coling (2018)
• Post, Matt dan David Vilar. "Decoding terbatas leksikal dengan alokasi balok dinamis untuk terjemahan mesin saraf." Prosiding NAACL-HLT (2018)
• Schamper, Julian, Jan Rosendahl, Parnia Bahar, Yunsu Kim, Arne Nix, dan Hermann Ney. "RWTH Aachen University Diawasi Sistem Terjemahan Mesin untuk WMT 2018." Prosiding WMT ke -3: Makalah Tugas Bersama (2018)
• Schulz, Philip, Wilker Aziz, dan Trevor Cohn. "Decoder stokastik untuk terjemahan mesin saraf." ARXIV Preprint ARXIV: 1805.10844 (2018)
• Tamer, Alkouli, Gabriel Bretschner, dan Hermann Ney. "Tentang masalah penyelarasan dalam terjemahan mesin saraf berbasis perhatian multi-head." Prosiding WMT ke -3: Makalah Penelitian (2018)
• Tang, Gongbo, Rico Sennrich, dan Joakim Nivre. "Analisis Mekanisme Perhatian: Kasus Disambiguasi Sense Kata dalam Terjemahan Mesin Saraf." Prosiding WMT ke -3: Makalah Penelitian (2018)
• Thompson, Brian, Huda Khayrallah, Antonios Anastasopoulos, Arya McCarthy, Kevin Duh, Rebecca Marvin, Paul McNamee, Jeremy Gwinnup, Tim Anderson, dan Philipp Koehn. "Membekukan Subnetworks untuk Menganalisis Adaptasi Domain dalam Terjemahan Mesin Saraf." Arxiv Preprint ARXIV: 1809.05218 (2018)
• Vilar, David. "Belajar Kontribusi Unit Tersembunyi untuk Mengadaptasi Model Terjemahan Mesin Saraf." Prosiding NAACL-HLT (2018)
• Vyas, Yogarshi, Xing NIU dan Marine Carpuat “Mengidentifikasi Divergensi Semantik dalam Teks Paralel Tanpa Anotasi”. Prosiding NAACL-HLT (2018)
• Wang, Weiyue, Derui Zhu, Tamer Alkhouli, Zixuan Gan, dan Hermann Ney. "Model Markov Saraf Tersembunyi untuk Terjemahan Mesin". Prosiding ACL ke -56 (2018)
• Zhang, Xuan, Gaurav Kumar, Huda Khayrallah, Kenton Murray, Jeremy Gwinnup, Marianna J Martindale, Paul McNamee, Kevin Duh, dan Marine Carpuat. "Eksplorasi Empiris Pembelajaran Kurikulum untuk Terjemahan Mesin Saraf." ARXIV Preprint ARXIV: 1811.00739 (2018)
• Swe Zin Moe, Ye Kyaw Thu, Hnin Aye Thant and Nandar Win Min, "Neural Machine Translation between Myanmar Sign Language and Myanmar Written Text", In the second Regional Conference on Optical character recognition and Natural language processing technologies for ASEAN languages 2018 (ONA 2018), December 13-14, 2018, Phnom Penh, Cambodia.
• Tang, Gongbo, Mathias Müller, Annette Rios dan Rico Sennrich. "Mengapa perhatian diri? Evaluasi yang ditargetkan dari arsitektur terjemahan mesin saraf." Prosiding EMNLP (2018)

2017

• Domhan, Tobias dan Felix Hieber. "Menggunakan data monolingual sisi target untuk terjemahan mesin saraf melalui pembelajaran multi-tugas." Prosiding EMNLP (2017).