sockeye

Sockeye

O Sockeye entrou no modo de manutenção e não está mais adicionando novos recursos. Somos gratos a todos que contribuíram para o Sockeye durante todo o seu desenvolvimento com solicitações de puxão, relatórios de emissão e muito mais.

O Sockeye é uma estrutura de sequência para sequência de código aberto para a tradução da máquina neural construída em Pytorch. Ele implementa treinamento distribuído e inferência otimizada para modelos de última geração, alimentando a Amazon tradu e outros aplicativos MT. Desenvolvimentos e mudanças recentes são rastreados em nosso Changelog.

Para um guia rápido para treinar um modelo NMT padrão em qualquer tamanho de dados, consulte o tutorial inglesa-alemão do WMT 2014.

Para perguntas e relatórios de emissão, registre um problema no Github.

Versão 3.1.x: apenas pytorch

Com a versão 3.1.x, removemos o suporte para o MXNET 2.x. Os modelos treinados com Pytorch e Sockeye 3.0.x permanecem compatíveis com o Sockeye 3.1.x. Modelos treinados com 2.3.x (usando MXNET) e convertidos em Pytorch com a ferramenta de conversão do Sockeye 3.0.x não podem ser usados com o Sockeye 3.1.x.

Versão 3.0.0: Suporte simultâneo de pytorch e mxnet

A partir da versão 3.0.0, o Sockeye também é baseado em Pytorch. Mantemos compatibilidade com versões anteriores com os modelos MXNET da versão 2.3.x com 3.0.x. Se o MXNET 2.x estiver instalado, o Sockeye poderá ser executado com o Pytorch ou o MXNET.

Todos os modelos treinados com 2.3.x (usando MXNET) podem ser convertidos em modelos em execução com Pytorch usando a CLI do conversor ( sockeye.mx_to_pt ). Isso criará um arquivo de parâmetro Pytorch ( <model>/params.best ) e backupá o arquivo de parâmetro MXNET existente para <model>/params.best.mx . Observe que isso se aplica apenas a modelos totalmente treinados que devem ser usados para inferência. O treinamento contínuo de um modelo MXNET com Pytorch não é suportado (porque não convertemos estados de treinamento e otimizador). sockeye.mx_to_pt exige que o MXNET seja instalado no ambiente.

Todos os clis da versão 3.0.0 agora usam Pytorch por padrão, por exemplo, sockeye-{train,translate,score} . CLIs/módulos baseados em MXNET ainda estão operacionais e acessíveis via sockeye-{train,translate,score}-mx .

O Sockeye 3 pode ser instalado e executado sem o MXNET, mas, se instalado, um conjunto de testes estendido é executado para garantir a equivalência entre os modelos Pytorch e MXNET. Observe que a execução do Sockeye 3.0.0 com o MXNET exige que o MXNET 2.x seja instalado ( pip install --pre -f https://dist.mxnet.io/python 'mxnet>=2.0.0b2021' )

Instalação

Baixe a versão atual do Sockeye:

git clone https://github.com/awslabs/sockeye.git

Instale o módulo Sockeye e suas dependências:

 cd sockeye && pip3 install --editable .

Para treinamento mais rápido da GPU, instale o NVIDIA APEX. A NVIDIA também fornece recipientes do Pytorch Docker que incluem o APEX.

Documentação

• Para obter informações sobre como usar o Sockeye, visite nossa documentação.
• Os desenvolvedores podem estar interessados em nossas diretrizes de desenvolvedor.

Versões mais antigas

• O Sockeye 3.0, com base no Pytorch & MxNet 2.x está disponível na filial sockeye_30 .
• O Sockeye 2.x, baseado na API do MXNET Gluon, está disponível na filial sockeye_2 .
• O Sockeye 1.x, com base na API do módulo MXNET, está disponível na filial sockeye_1 .

Citação

Para mais informações sobre o Sockeye, consulte nossos papéis (Bibtex).

Sockeye 3.x

Felix Hieber, Michael Denkowski, Tobias Domhan, Barbara Darques Barros, Celina Dong Ye, Xing Niu, Cuong Hoang, Ke Tran, Benjamin Hsu, Maria Nadejde, Surafel Lakew, Prashant Mathur, Anna Currey, Marcello Federico. Sockeye 3: Tradução rápida da máquina neural com Pytorch. ARXIV E-PRINTS.

Sockeye 2.x

Tobias Domhan, Michael Denkowski, David Vilar, Xing Niu, Felix Hieber e Kenneth Hefield. O kit de ferramentas de tradução da Máquina Neural Sockeye 2 na AMTA 2020. Anais da 14ª Conferência da Associação para Tradução de Máquinas nas Américas (AMTA'20).

Felix Hieber, Tobias Domhan, Michael Denkowski, David Vilar. Sockeye 2: Um kit de ferramentas para tradução para a máquina neural. Anais da 22ª Conferência Anual da Associação Europeia para Tradução de Máquina, Trilha do Projeto (EAMT'20).

Sockeye 1.x

Felix Hieber, Tobias Domhan, Michael Denkowski, David Vilar, Artem Sokolov, Ann Clifton, Matt Post. O kit de ferramentas de tradução da Máquina Neural de Sockeye em AMTA 2018. Anais da 13ª Conferência da Associação para Tradução de Máquinas nas Américas (AMTA'18).

Felix Hieber, Tobias Domhan, Michael Denkowski, David Vilar, Artem Sokolov, Ann Clifton e Matt Post. 2017. Sockeye: Um kit de ferramentas para tradução para máquinas neurais. ARXIV E-PRINTS.

Pesquisa com Sockeye

O Sockeye tem sido usado para pesquisas acadêmicas e industriais. Uma lista de publicações conhecidas que usam Sockeye é mostrada abaixo. Se você souber mais, informe -nos ou envie uma solicitação de tração (Última atualização: maio de 2022).

2023

• Zhang, Xuan, Kevin Duh, Paul McNamee. "Um kit de ferramentas de otimização de hiperparâmetro para pesquisa de tradução para máquinas neurais". Anais da ACL (2023).

2022

• Currey, Anna, Maria Nădejde, Raghavendra Pappagari, Mia Mayer, Stanislas Lauly, Xing Niu, Benjamin Hsu, Georgiana Dinu. "MT-Geneval: um conjunto de dados contrafactual e contextual para avaliar a precisão de gênero na tradução da máquina". Anais da EMNLP (2022).
• Domhan, Tobias, Eva Hasler, Ke Tran, Sony Trenos, Bill Byrne e Felix Hieber. "O diabo está nos detalhes: nas armadilhas da seleção de vocabulário na tradução da máquina neural". Anais da NAACL-HLT (2022)
• Fischer, Lukas, Patricia Scheurer, Raphael Schwitter, Martin Volk. "Tradução de máquinas das cartas do século XVI de latim para alemão". Workshop sobre tecnologias de linguagem para idiomas históricos e antigos (2022).
• Knowles, Rebecca, Patrick Littell. "Memórias de tradução como linhas de base para a tradução da máquina de baixo recurso". Anais da LREC (2022)
• McNamee, Paul, Kevin Duh. "O corpus multilíngue de tradução de microblog: melhorando e avaliando a tradução do texto gerado pelo usuário". Anais da LREC (2022)
• Nadejde Maria, Anna Currey, Benjamin Hsu, Xing Niu, Marcello Federico, Georgiana Dinu. "Cocoa-MT: um conjunto de dados e referência para MT controlado contrastivo com aplicação à formalidade". Anais da NAACL (2022).
• Weller-Di Marco, Marion, Matthias Huck, Alexander Fraser. "Modelando a morfologia do lado do alvo na tradução da máquina neural: uma comparação de estratégias". Arxiv pré -impressão Arxiv: 2203.13550 (2022)

2021

• Bergmanis, Toms, Mārcis pinnis. "Facilitando a tradução de terminologia com as anotações do lema alvo". Arxiv pré -impressão Arxiv: 2101.10035 (2021)
• Briakou, Elefteria, Marine Carpuat. "Além do ruído: mitigando o impacto de divergências semânticas de granulação fina na tradução da máquina neural". Arxiv pré -impressão Arxiv: 2105.15087 (2021)
• Hasler, Eva, Tobias Domhan, Sony Trenos, Ke Tran, Bill Byrne, Felix Hieber. "Melhorando o trade-off de qualidade para a adaptação de múltiplos domdios de tradução de máquinas neurais". Anais da EMNLP (2021)
• Tang, Gongbo, Philipp Rönchen, Rico Sennrich, Joakim Nivre. "Revisitando a negação na tradução da máquina neural". Transações da Associação para Linguística de Computação 9 (2021)
• Vu, Thuy, Alessandro Moschitti. "Personalização da tradução da máquina via seleção automática de dados de treinamento da web". Arxiv pré -impressão Arxiv: 2102.1024 (2021)
• Xu, Weijia, Marine Carpuat. "Editor: um transformador baseado em edição com reposicionamento para tradução da máquina neural com restrições lexicais suaves". Transações da Associação para Linguística de Computação 9 (2021)
• Müller, Mathias, Rico Sennrich. "Compreendendo as propriedades da decodificação mínima de risco de Bayes na tradução da máquina neural". Anais da 59ª Reunião Anual da Associação de Linguística Computacional e da 11ª Conferência Conjunta Internacional sobre Processamento de Linguagem Natural (Volume 1: Long Papers) (2021)
• Popović, Maja, Alberto Poncellas. "Na tradução da máquina de revisões de usuários." Anais do Ranlp (2021)
• Popović, Maja. "Na natureza e causas de erros de MT observados". Anais da 18ª Cúpula do MT (Volume 1: Pesquisa Trilha) (2021)
• Jain, Nishtha, Maja Popović, Declan Groves, Eva VanMassenhove. "Gerando dados aumentados de gênero para PNL". Anais do 3º workshop sobre viés de gênero no processamento de linguagem natural (2021)
• Vilar, David, Marcello Federico. "Uma extensão estatística da codificação de pares de bytes". Anais da IWSLT (2021)

2020

• Dinu, Georgiana, Prashant Mathur, Marcello Federico, Stanislas Lauly, Yaser al-Onizan. "Tradução conjunta e conversão de unidades para localização de ponta a ponta". Anais da IWSL (2020)
• Exel, Miriam, Bianka Buschbeck, Lauritz Brandt, Simona Doneva. "Tradução da máquina neural com restrição de terminologia em SAP". Anais da EAMT (2020).
• Hisamoto, Sorami, Matt Post, Kevin Duh. "Ataques de inferência de associação aos modelos de sequência a sequência: meus dados estão no seu sistema de tradução de máquinas?" Transações da Associação para Linguística Computacional, Volume 8 (2020)
• Naradowsky, Jason, Xuan Zhan, Kevin Duh. "Seleção do sistema de tradução de máquinas do feedback de bandidos". Arxiv pré -impressão Arxiv: 2002.09646 (2020)
• Niu, Xing, Prashant Mathur, Georgiana Dinu, Yaser al-Onizan. "Avaliando a robustez em perturbações de entrada para tradução para a máquina neural". Arxiv pré -impressão Arxiv: 2005.00580 (2020)
• Niu, Xing, Marine Carpuat. "Controlando a formalidade da tradução da máquina neural com supervisão sintética". Anais da AAAI (2020)
• Keung, Phillip, Julian Salazar, Yichao Liu, Noah A. Smith. "A mineração e a tradução não supervisionadas de Bitext por meio de incorporações contextuais auto-tenhadas". Arxiv pré -impressão Arxiv: 2010.07761 (2020).
• Sokolov, Alex, Tracy Rohlin, Ariya Rastrow. "Tradução da máquina neural para conversão multilíngue de grafema em phonema". Arxiv pré -impressão Arxiv: 2006.14194 (2020)
• Stafanovičs, Artūrs, Toms Bergmanis, Mārcis pinnis. "Mitigando o viés de gênero na tradução da máquina com anotações de gênero -alvo". Arxiv pré -impressão Arxiv: 2010.06203 (2020)
• Stojanovski, Dario, Alexander Fraser. "Abordando os domínios de recursos zero usando o contexto no nível do documento na tradução da máquina neural". Arxiv pré -impressão arxiv pré -impressão arxiv: 2004.14927 (2020)
• Stojanovski, Dario, Benno Krojer, Denis Peskov, Alexander Fraser. "Contracat: modelos analíticos de núcleo contrastivos para tradução da máquina". Anais da Coling (2020)
• Zhang, Xuan, Kevin Duh. "Benchmarks reproduzíveis e eficientes para otimização de hiperparâmetro de sistemas de tradução de máquinas neurais". Transações da Associação para Linguística Computacional, Volume 8 (2020)
• Swe Zin Moe, Ye Kyaw Thu, Hnin Aye Thant, Nandar Win Min e Thepchai supnithi, "Tradução de máquinas neurais não supervisionada entre Mianmar Signal Language e Mianmar Language", Journal of Intelligent Informatics and Smart Technology, 1st Hssods, 2020, pp. 53-61. (Enviado em 21 de dezembro de 2019; aceito em 6 de março de 2020; revisado em 16 de março de 2020; publicado on -line em 30 de abril de 2020)
• THAZIN MYINT OO, YE KYAW TU, KHIN MAR SOE E THEPCHAI SUPNITHI, "Tradução da máquina neural entre Mianmar (birmaneses) e Dawei (Tavoyan)", em Anais da 18ª Conferência Internacional sobre Aplicativos Computadores (ICCA 2020), 27-28, 2020, 2020, Yangon, Yangon, MyanMer, MyanMer, p.
• Müller, Mathias, Annette Rios, Rico Sennrich. "Robustez do domínio na tradução da máquina neural". Anais da AMTA (2020)
• Rios, Annette, Mathias Müller, Rico Sennrich. "A segmentação de subgletas e uma única linguagem da ponte afetam a tradução da máquina neural com tiro zero." Anais do 5º WMT: Documentos de pesquisa (2020)
• Popović, Maja, Alberto Poncellas. "Tradução da máquina neural entre idiomas semelhantes ao sul". Anais do 5º WMT: Documentos de pesquisa (2020)
• Popović, Maja, Alberto Poncellas. "Extraindo segmentos alinhados corretamente de dados paralelos impuros usando a correspondência de N-Gram de caracteres". Anais da Conferência sobre Tecnologias de Idiomas e Humanidades Digitais (JTDH 2020).
• Popović, Maja, Alberto Poncellas, Marija Brkic, Andy Way. "Tradução da máquina neural para traduzir para croata e sérvia". Anais do 7º workshop na PNL para idiomas, variedades e dialetos semelhantes (2020)

2019

• Agrawal, Sweta, Marine Carpuat. "Controlando a complexidade do texto na tradução da máquina neural". Anais da EMNLP (2019)
• Beck, Daniel, Trevor Cohn, Gholamreza Haffari. "Tradução de fala neural usando transformações de treliça e redes de gráficos". Anais do TextGraphs-13 (EMNLP 2019)
• Currey, Anna, Kenneth Hefield. "Tradução da máquina neural com resistência zero com dados de pivô monolíngues". Anais da EMNLP (2019)
• Gupta, Prabhakar, Mayank Sharma. "Estimativa de qualidade da tradução não supervisionada para legendas de conteúdo de entretenimento digital". IEEE International Journal of Semantic Computing (2019)
• Hu, J. Edward, Huda Khayrallah, Ryan Culkin, Patrick Xia, Tongfei Chen, Matt Post e Benjamin van Durme. "Decodificação melhorada lexicamente restrita para tradução e reescrita monolíngue". Anais da NAACL-HLT (2019)
• Rosendahl, Jan, Christian Herold, Yunsu Kim, Miguel Graça, Weiyue Wang, Parnia Bahar, Yingbo Gao e Hermann Ney “The Rwth Aachen University Machine Systems for WMT 2019” Anais do 4º WMT: Papões de pesquisa (2019)
• Thompson, Brian, Jeremy Gwinnup, Huda Khayrillah, Kevin Duh e Philipp Koehn. "Superando o esquecimento catastrófico durante a adaptação do domínio da tradução da máquina neural". Anais da NAACL-HLT 2019 (2019)
• Tättar, Andre, Elizaveta Korotkova, Mark Fishel “Multi-Domínio Multi-Domínio da Universidade de Tartu WMT19 Tradução de notícias Submissão de tarefas compartilhadas” Procedimentos da 4ª WMT: Documentos de Pesquisa (2019)
• THAZIN MYINT OO, YE KYAW TU e KHIN MAR SOE, "Tradução da máquina neural entre Mianmar (birmaneses) e Rakhine (Arakanese)", em Anais do Sexto Workshop em PNA para Línguas semelhantes, Varieties e Dialets, Estados Unidos, Estados Unidos, UNIDOS, UNIDADOS, 80TH8, 7THELPOMEPOLIS, MINNEAPOLIS,

2018

• Domhan, Tobias. "Quanta atenção você precisa? Uma análise granular das arquiteturas de tradução de máquinas neurais". Anais da 56ª ACL (2018)
• Kim, Yunsu, Yingbo Gao e Hermann Ney. "Transferência transversal eficaz de modelos de tradução de máquinas neurais sem vocabulários compartilhados". Arxiv pré -impressão Arxiv: 1905.05475 (2019)
• Korotkova, Elizaveta, Maksym Del e Mark Fishel. "Transferência de estilo monolíngue e transversal de tiro zero". Arxiv pré -impressão Arxiv: 1808.00179 (2018)
• Niu, Xing, Michael Denkowski e Marine Carpuat. "Tradução da máquina neural bidirecional com dados paralelos sintéticos". Arxiv pré -impressão Arxiv: 1805.11213 (2018)
• Niu, Xing, Sudha Rao e Marine Carpuat. "Modelos neurais de várias tarefas para traduzir entre estilos dentro e entre idiomas". Coling (2018)
• Post, Matt e David Vilar. "Decodificação rápida lexicamente restrita com alocação de feixe dinâmico para tradução para a máquina neural". Anais da NAACL-HLT (2018)
• Schamper, Julian, Jan Rosendahl, Parnia Bahar, Yunsu Kim, Arne Nix e Hermann Ney. "O RWTH Aachen University Supervisionou Systems de tradução para WMT 2018". Anais do 3º WMT: Documentos de Tarefa Compartilhada (2018)
• Schulz, Philip, Wilker Aziz e Trevor Cohn. "Um decodificador estocástico para a tradução da máquina neural". Arxiv pré -impressão Arxiv: 1805.10844 (2018)
• Tamer, Alkouli, Gabriel Bretschner e Hermann Ney. "Sobre o problema de alinhamento na tradução da máquina neural com base na atenção de várias cabeças". Anais do 3º WMT: Documentos de pesquisa (2018)
• Tang, Gongbo, Rico Sennrich e Joakim Nivre. "Uma análise dos mecanismos de atenção: o caso de desambiguação do senso de palavras na tradução da máquina neural". Anais do 3º WMT: Documentos de pesquisa (2018)
• Thompson, Brian, Huda Khayrallah, Antonios Anasasopoulos, Arya McCarthy, Kevin Duh, Rebecca Marvin, Paul McNamee, Jeremy Gwinnup, Tim Anderson e Philipp Koehn. "Subnetworks de congelamento para analisar a adaptação do domínio na tradução da máquina neural". Arxiv pré -impressão Arxiv: 1809.05218 (2018)
• Vilar, David. "Aprendendo a contribuição da unidade oculta para adaptar os modelos de tradução da máquina neural". Anais da NAACL-HLT (2018)
• Vyas, Yogarshi, Xing Niu e Marine Carpuat "Identificando divergências semânticas em texto paralelo sem anotações". Anais da NAACL-HLT (2018)
• Wang, Weiyue, Derui Zhu, Tamer Alkhouli, Zixuan Gan e Hermann Ney. "Modelo neural de Markov oculto para tradução da máquina". Anais da 56ª ACL (2018)
• Zhang, Xuan, Gaurav Kumar, Huda Khayrallah, Kenton Murray, Jeremy Gwinnup, Marianna J Martindale, Paul McNamee, Kevin Duh e Marine Carpuat. "Uma exploração empírica do aprendizado de currículo para tradução da máquina neural". Arxiv pré -impressão Arxiv: 1811.00739 (2018)
• Swe Zin Moe, Ye Kyaw Thu, Hnin Aye Thant e Nandar Win Min, "Tradução da máquina neural entre a linguagem de sinais de Mianmar e o texto escrito de Mianmar", na Segunda Conferência Regional sobre Reconhecimento de Caracteres Ópticos e Tecnologias de Processamento de Linguagem Natural, Phnom para Asean Languages 2018 (ONA 2018), 13-14, 2018, 2018, 2018, 2018, Phnom, Phnom, Phnom, Pen.
• Tang, Gongbo, Mathias Müller, Annette Rios e Rico Sennrich. "Por que a auto-atendimento? Uma avaliação direcionada das arquiteturas de tradução de máquinas neurais". Anais da EMNLP (2018)

2017

• Domhan, Tobias e Felix Hieber. "Usando dados monolíngues do lado alvo para tradução para a máquina neural através de aprendizado de várias tarefas". Anais da EMNLP (2017).