sockeye

Foteye

SOCKKEE ha ingresado al modo de mantenimiento y ya no está agregando nuevas características. Agradecemos a todos los que hayan contribuido a SODWEYE a lo largo de su desarrollo con solicitudes de extracción, informes de problemas y más.

SOCTKEYE es un marco de secuencia a secuencia de código abierto para la traducción de la máquina neuronal basada en Pytorch. Implementa la capacitación distribuida y la inferencia optimizada para los modelos de última generación, impulsando la traducción de Amazon y otras aplicaciones MT. Los desarrollos y cambios recientes se rastrean en nuestro ChangeLog.

Para obtener una guía rápida para capacitar un modelo NMT estándar en cualquier tamaño de datos, consulte el Tutorial WMT 2014 English-German.

Para preguntas e informes de problemas, presente un problema en GitHub.

Versión 3.1.x: solo Pytorch

Con la versión 3.1.x, eliminamos soporte para MXNET 2.x. Los modelos entrenados con Pytorch y Sotkeye 3.0.x siguen siendo compatibles con SOTDKEE 3.1.X. Los modelos entrenados con 2.3.x (usando MXNET) y convertidos a Pytorch con la herramienta de conversión de SOBKEYE 3.0.X no se pueden usar con SOTDKEE 3.1.X.

Versión 3.0.0: Soporte concurrente de Pytorch y MXNet

Comenzando con la versión 3.0.0, SODWEYE también se basa en Pytorch. Mantenemos la compatibilidad con respecto a los modelos MXNET de la versión 2.3.x con 3.0.x. Si está instalado MXNET 2.X, SOTTKEYE puede ejecutar tanto con Pytorch como con MXNET.

Todos los modelos entrenados con 2.3.x (usando mxnet) pueden convertirse en modelos que se ejecutan con Pytorch utilizando el convertidor CLI ( sockeye.mx_to_pt ). Esto creará un archivo de parámetros PyTorch ( <model>/params.best ) y respalda el archivo de parámetro MXNET existente en <model>/params.best.mx . Tenga en cuenta que esto solo se aplica a los modelos totalmente capacitados que se utilizarán para la inferencia. El entrenamiento continuo de un modelo MXNET con Pytorch no es compatible (porque no convertimos los estados de capacitación y optimizador). sockeye.mx_to_pt requiere que MXNet se instale en el entorno.

Todas las clis de la versión 3.0.0 ahora usan Pytorch de forma predeterminada, por ejemplo, sockeye-{train,translate,score} . Los módulos/módulos basados en MXNET siguen siendo operativos y accesibles a través de sockeye-{train,translate,score}-mx .

SOCTKEY 3 se puede instalar y ejecutar sin MXNET, pero si está instalado, se ejecuta un conjunto de pruebas extendidas para garantizar la equivalencia entre los modelos Pytorch y MXNET. Tenga en cuenta que ejecutar SOCKKEE 3.0.0 con MXNET requiere que se instalará MXNET 2.x ( pip install --pre -f https://dist.mxnet.io/python 'mxnet>=2.0.0b2021' ))

Instalación

Descargue la versión actual de SOBKEY:

git clone https://github.com/awslabs/sockeye.git

Instale el módulo SOBKEY y sus dependencias:

 cd sockeye && pip3 install --editable .

Para una capacitación de GPU más rápida, instale NVIDIA APEX. NVIDIA también proporciona contenedores Pytorch Docker que incluyen APEX.

Documentación

• Para obtener información sobre cómo usar SODWEYE, visite nuestra documentación.
• Los desarrolladores pueden estar interesados en nuestras pautas de desarrolladores.

Versiones más antiguas

• SODWEYE 3.0, basado en Pytorch y MXNET 2.x está disponible en la sucursal sockeye_30 .
• SOCKKEE 2.X, basado en la API MXNET Gluon, está disponible en la sucursal sockeye_2 .
• SOBKEYE 1.x, basado en la API del módulo MXNET, está disponible en la rama sockeye_1 .

Citación

Para obtener más información sobre SOBKEY, consulte nuestros documentos (Bibtex).

SOCTKEY 3.X

Felix Hieber, Michael Denkowski, Tobias Domhan, Barbara Darques Barros, Celina Dong Ye, Xing Niu, Cuong Hoang, Ke Tran, Benjamin Hsu, Maria Nadejde, Surafel Lakew, Prashant Mathur, Anna Currey, Marcello Federico. SOCTKEY 3: Traducción rápida del automóvil neuronal con Pytorch. Arxiv E-Pints.

SOCTKEY 2.X

Tobias Domhan, Michael Denkowski, David Vilar, Xing Niu, Felix Hieber, Kenneth Heefield. El kit de herramientas de traducción de máquina neuronal SODWEE 2 en AMTA 2020. Actas de la 14ª Conferencia de la Asociación para la Traducción automática en las Américas (AMTA'20).

Felix Hieber, Tobias Domhan, Michael Denkowski, David Vilar. SOCTKEY 2: un conjunto de herramientas para la traducción del automóvil neuronal. Actas de la 22ª Conferencia Anual de la Asociación Europea para la Traducción de Autor, Track Project (EAMT'20).

SOCTKEY 1.x

Felix Hieber, Tobias Domhan, Michael Denkowski, David Vilar, Artem Sokolov, Ann Clifton, Matt Post. El kit de herramientas de traducción automática neuronal de SODKEE en AMTA 2018. Actas de la 13ª Conferencia de la Asociación para la Traducción automática en las Américas (AMTA'18).

Felix Hieber, Tobias Domhan, Michael Denkowski, David Vilar, Artem Sokolov, Ann Clifton y Matt Post. 2017. SOBKEYE: un conjunto de herramientas para la traducción del automóvil neuronal. Arxiv E-Pints.

Investigar con SOBKEYE

SODWEYE se ha utilizado para la investigación académica e industrial. A continuación se muestra una lista de publicaciones conocidas que usan SODWEYE. Si sabe más, háganos saber o envíe una solicitud de extracción (última actualización: mayo de 2022).

2023

• Zhang, Xuan, Kevin Duh, Paul McNamee. "Un conjunto de herramientas de optimización de hiperparameter para la investigación de traducción de máquina neuronal". Actas de ACL (2023).

2022

• Currey, Anna, Maria Nădejde, Raghavendra Pappagari, Mia Mayer, Stanislas Lauly, Xing Niu, Benjamin Hsu, Georgiana Dinu. "Mt-Geneval: un conjunto de datos contrafactual y contextual para evaluar la precisión de género en la traducción automática". Actas de EMNLP (2022).
• Domhan, Tobias, Eva Hasler, Ke Tran, Sony Trenous, Bill Byrne y Felix Hieber. "El diablo está en los detalles: sobre las trampas de la selección de vocabulario en la traducción del automóvil neuronal". Actas de NAACL-HLT (2022)
• Fischer, Lukas, Patricia Scheurer, Raphael Schwitter, Martin Volk. "Traducción automática de letras del siglo XVI del latín al alemán". Taller sobre tecnologías de idiomas para lenguas históricas y antiguas (2022).
• Knowles, Rebecca, Patrick Littell. "Memorias de traducción como líneas de base para la traducción automática de baja recursos". Actas de LREC (2022)
• McNamee, Paul, Kevin Duh. "El corpus de traducción de microblog multilingües: mejorar y evaluar la traducción del texto generado por el usuario". Actas de LREC (2022)
• Nadejde Maria, Anna Currey, Benjamin Hsu, Xing Niu, Marcello Federico, Georgiana Dinu. "Cocoa-MT: un conjunto de datos y un punto de referencia para el MT controlado contrastante con la aplicación a la formalidad". Actas de NAACL (2022).
• Weller-Di Marco, Marion, Matthias Huck, Alexander Fraser. "Modelado de la morfología del lado objetivo en la traducción del automóvil neuronal: una comparación de estrategias". Preimpresión ARXIV ARXIV: 2203.13550 (2022)

2021

• Bergmanis, Toms, Mārcis Pinnis. "Facilitar la traducción de la terminología con anotaciones de lema objetivo". Preimpresión ARXIV ARXIV: 2101.10035 (2021)
• Briakou, Eleftheria, Marine Carpuat. "Más allá del ruido: mitigar el impacto de las divergencias semánticas de grano fino en la traducción del automóvil neuronal". Arxiv Preprint ARXIV: 2105.15087 (2021)
• Hasler, Eva, Tobias Domhan, Sony Trenous, Ke Tran, Bill Byrne, Felix Hieber. "Mejora de la compensación de calidad para la traducción de la máquina neuronal Adaptación multidominio". Actas de EMNLP (2021)
• Tang, Gongbo, Philipp Rönchen, Rico Sennrich, Joakim Nivre. "Revisando la negación en la traducción del automóvil neuronal". Transacciones de la Asociación para la Lingüística de Computación 9 (2021)
• Vu, Thuy, Alessandro Moschitti. "Personalización de traducción automática a través de la selección de datos de capacitación automática desde la web". Preimpresión ARXIV ARXIV: 2102.1024 (2021)
• Xu, Weijia, Marine Carpuat. "Editor: un transformador basado en edición con reposicionamiento para la traducción del automóvil neuronal con restricciones léxicas suaves". Transacciones de la Asociación para la Lingüística de Computación 9 (2021)
• Müller, Mathias, Rico Sennrich. "Comprender las propiedades de la decodificación del riesgo mínimo de Bayes en la traducción del automóvil neuronal". Actas de la 59ª Reunión Anual de la Asociación de Lingüística Computacional y la 11ª Conferencia Internacional Conjunta sobre Procesamiento del Lenguaje Natural (Volumen 1: Documentos largos) (2021)
• Popović, Maja, Alberto Ponccelas. "Sobre la traducción automática de las revisiones de los usuarios". Actas de RANLP (2021)
• Popović, Maja. "Sobre la naturaleza y las causas de los errores de MT observados". Actas de la 18a cumbre de MT (Volumen 1: pista de investigación) (2021)
• Jain, Nishtha, Maja Popović, Declan Groves, Eva Vanmassenhove. "Generar datos aumentados de género para PNL". Actas del tercer taller sobre sesgo de género en el procesamiento del lenguaje natural (2021)
• Vilar, David, Marcello Federico. "Una extensión estadística de la codificación de pares de bytes". Actas de IWSLT (2021)

2020

• Dinu, Georgiana, Prashant Mathur, Marcello Federico, Stanislas Lauly, Yaser al-Aizan. "Traducción conjunta y conversión de unidades para la localización de extremo a extremo". Actas de IWSLT (2020)
• Exel, Miriam, Bianka Buschbeck, Lauritz Brandt, Simona Doneva. "Traducción automática neuronal limitada por terminología en SAP". Actas de Eamt (2020).
• Hisamoto, Sorami, Matt Post, Kevin Duh. "Los ataques de inferencia de membresía en los modelos de secuencia a secuencia: ¿son mis datos en su sistema de traducción automática?" Transacciones de la Asociación de Lingüística Computacional, Volumen 8 (2020)
• Naradowsky, Jason, Xuan Zhan, Kevin Duh. "Selección del sistema de traducción automática de la retroalimentación de los bandidos". ARXIV Preimpresión ARXIV: 2002.09646 (2020)
• Niu, Xing, Prashant Mathur, Georgiana Dinu, Yaser al-Aizan. "Evaluar la robustez a las perturbaciones de entrada para la traducción del automóvil neuronal". ARXIV Preprint ARXIV: 2005.00580 (2020)
• Niu, Xing, Marine Carpuat. "Controlar la formalidad de traducción del automóvil neural con supervisión sintética". Actas de AAAI (2020)
• Keung, Phillip, Julian Salazar, Yichao Liu, Noah A. Smith. "Minería y traducción de BITEXT no supervisada a través de incrustaciones contextuales autónomas". Preimpresión ARXIV ARXIV: 2010.07761 (2020).
• Sokolov, Alex, Tracy Rohlin, Ariya Rastrow. "Traducción del automóvil neuronal para la conversión multilingüe de grafema a fonema". ARXIV Preprint ARXIV: 2006.14194 (2020)
• Stafanovičs, Artūrs, Toms Bergmanis, Mārcis Pinnis. "Mitigando el sesgo de género en la traducción automática con anotaciones de género objetivo". Arxiv Preprint ARXIV: 2010.06203 (2020)
• Stojanovski, Dario, Alexander Fraser. "Abordar los dominios de recursos cero utilizando el contexto a nivel de documento en la traducción del automóvil neuronal". Preprint ARXIV ARXIV Preprint ARXIV: 2004.14927 (2020)
• Stojanovski, Dario, Benno Krojer, Denis Peskov, Alexander Fraser. "Contracat: plantillas analíticas de coreferencia contrastante para la traducción automática". Actas de Coling (2020)
• Zhang, Xuan, Kevin Duh. "Los puntos de referencia reproducibles y eficientes para la optimización del hiperparameter de los sistemas de traducción automática neural". Transacciones de la Asociación de Lingüística Computacional, Volumen 8 (2020)
• Swe Zin Moe, Ye Kyaw Thu, Hnin Aye Thant, Nandar Win Min, y Thepchai Supnithi, "Traducción de la máquina neuronal sin supervisión entre el lenguaje de señas Myanmar y el lenguaje de Myanmar", Journal of Intelligent Informatics and Smart Technology, 1 de abril, 2020, pp. 53-61. (Presentado el 21 de diciembre de 2019; aceptado el 6 de marzo de 2020; revisado el 16 de marzo de 2020; publicado en línea el 30 de abril de 2020)
• Thazin Myint Oo, Ye Kyaw Thu, Khin Mar Soe y Thepchai Supnithi, "Traducción de la máquina neuronal entre Myanmar (birmano) y Dawei (Tavoyan)", en Actas de la Conferencia Internacional de las Aplicaciones Informáticas (ICCA 2020), 27-28 de febrero de 2020, Yangon, Myanmar, pp. 219-227.
• Müller, Mathias, Annette Rios, Rico Sennrich. "Robustez de dominio en la traducción del automóvil neuronal". Actas de AMTA (2020)
• Rios, Annette, Mathias Müller, Rico Sennrich. "La segmentación de subvenciones y un lenguaje de un solo puente afectan la traducción de la máquina neuronal de disparo cero". Actas del 5º WMT: Documentos de investigación (2020)
• Popović, Maja, Alberto Ponccelas. "Traducción del automóvil neuronal entre idiomas similares de South-Elavic". Actas del 5º WMT: Documentos de investigación (2020)
• Popović, Maja, Alberto Ponccelas. "Extraer segmentos correctamente alineados de datos paralelos inmunes utilizando la coincidencia de carácter n-gram". Actas de la Conferencia sobre Tecnologías del Lenguaje y Humanidades Digital (JTDH 2020).
• Popović, Maja, Alberto Ponccelas, Marija Brkic, Andy Way. "Traducción del automóvil neuronal para traducir al croata y serbio". Actas del séptimo taller sobre PNL para idiomas, variedades y dialectos similares (2020)

2019

• Agrawal, Sweta, Marine Carpuat. "Controlar la complejidad del texto en la traducción del automóvil neuronal". Actas de EMNLP (2019)
• Beck, Daniel, Trevor Cohn, Gholamreza Haffari. "Traducción del habla neural utilizando transformaciones de red y redes de gráficos". Actas de TextGraphs-13 (EMNLP 2019)
• Currey, Anna, Kenneth Heefield. "Traducción del automóvil neuronal de recursos cero con datos de pivote monolingües". Actas de EMNLP (2019)
• Gupta, Prabhakar, Mayank Sharma. "Estimación de calidad de traducción no supervisada para subtítulos de contenido de entretenimiento digital". IEEE International Journal of Semantic Computing (2019)
• Hu, J. Edward, Huda Khayrallah, Ryan Culkin, Patrick Xia, Tongfei Chen, Matt Post y Benjamin van Durme. "Decodificación léxicamente restringida para la traducción y reescritura monolingüe". Actas de NAACL-HLT (2019)
• Rosendahl, Jan, Christian Herold, Yunsu Kim, Miguel Graça, Weiyue Wang, Parnia Bahar, Yingbo Gao y Hermann Ney "Los sistemas de traducción automática de la Universidad Rwth Aachen para WMT 2019" del 4º WMT: Investigación (2019)
• Thompson, Brian, Jeremy Gwinnup, Huda Khayrallah, Kevin Duh y Philipp Koehn. "Superar el olvido catastrófico durante la adaptación del dominio de la traducción del automóvil neuronal". Actas de NAACL-HLT 2019 (2019)
• Tättar, Andre, Elizaveta Korotkova, Mark Fishel "University of Tartu Multilingüe multidominio WMT19 Traducción de noticias Presentación de tareas compartidas" Actas del 4º WMT: Documentos de investigación (2019)
• Thazin Myint Oo, Ye Kyaw Thu y Khin Mar Soe, "Traducción de la máquina neuronal entre Myanmar (birmano) y Rakhine (arakanese)", en Actas del Sexto Taller sobre PNL para lenguas similares, variedades y dialectos, NAACL-2019, 7 de junio de 2019, Minneapolis, Estados Unidos, Pp. 80-88888888888888

2018

• Domhan, Tobias. "¿Cuánta atención necesitas? Un análisis granular de las arquitecturas de traducción automática neuronal". Actas de la ACL 56 (2018)
• Kim, Yunsu, Yingbo Gao y Hermann Ney. "Transferencia multilingüe efectiva de modelos de traducción automática neural sin vocabularios compartidos". ARXIV Preprint ARXIV: 1905.05475 (2019)
• Korotkova, Elizaveta, Maksym del y Mark Fishel. "Transferencia de estilo monolingüe e interlingüe de cero-shot". Arxiv Preprint Arxiv: 1808.00179 (2018)
• Niu, Xing, Michael Denkowski y Marine Carpuat. "Traducción de máquina neural bidireccional con datos paralelos sintéticos". ARXIV Preprint ARXIV: 1805.11213 (2018)
• Niu, Xing, Sudha Rao y Marine Carpuat. "Modelos neuronales de tareas múltiples para traducir entre estilos dentro y entre idiomas". Coling (2018)
• Post, Matt y David Vilar. "Decodificación rápida y limitada con asignación de haz dinámico para la traducción del automóvil neuronal". Actas de NAACL-HLT (2018)
• Schamper, Julian, Jan Rosendahl, Parnia Bahar, Yunsu Kim, Arne Nix y Hermann Ney. "Los sistemas de traducción automática supervisados de la Universidad RWTH Aachen para WMT 2018". Actas del 3er WMT: documentos de tareas compartidas (2018)
• Schulz, Philip, Wilker Aziz y Trevor Cohn. "Un decodificador estocástico para la traducción del automóvil neuronal". ARXIV Preprint ARXIV: 1805.10844 (2018)
• Tamer, Alkouli, Gabriel Bretschner y Hermann Ney. "Sobre el problema de alineación en la traducción automática neural basada en la atención múltiple". Actas del 3er WMT: Investigation Papers (2018)
• Tang, Gongbo, Rico Sennrich y Joakim Nivre. "Un análisis de los mecanismos de atención: el caso de la desambiguación del sentido de las palabras en la traducción del automóvil neuronal". Actas del 3er WMT: Investigations (2018)
• Thompson, Brian, Huda Khayrallah, Antonios Anastasopoulos, Arya McCarthy, Kevin Duh, Rebecca Marvin, Paul McNamee, Jeremy Gwinnup, Tim Anderson y Philipp Koehn. "Congelar subredes para analizar la adaptación del dominio en la traducción del automóvil neuronal". ARXIV Preprint ARXIV: 1809.05218 (2018)
• Vilar, David. "Aprender la contribución de la unidad oculta para adaptar modelos de traducción automática neuronal". Actas de NAACL-HLT (2018)
• Vyas, Yogarshi, Xing Niu y Marine Carpuat "Identificación de divergencias semánticas en texto paralelo sin anotaciones". Actas de NAACL-HLT (2018)
• Wang, Weiyue, Derui Zhu, Tamer Alkhouli, Zixuan Gan y Hermann Ney. "Modelo de Markov oculto neural para la traducción automática". Actas de la ACL 56 (2018)
• Zhang, Xuan, Gaurav Kumar, Huda Khayrallah, Kenton Murray, Jeremy Gwinnup, Marianna J Martindale, Paul McNamee, Kevin Duh y Marine Carpuat. "Una exploración empírica del aprendizaje curricular para la traducción del automóvil neuronal". Arxiv Preprint Arxiv: 1811.00739 (2018)
• Swe Zin Moe, Ye Kyaw Thu, Hnin Aye Thant y Nandar Win Min, "Traducción de la máquina neuronal entre el lenguaje de señas de Myanmar y el texto escrito de Myanmar", en la segunda conferencia regional sobre reconocimiento de carácter óptico y tecnologías de procesamiento del lenguaje natural para Languaces ASEAN 2018 (ONA 2018), 13-14 de diciembre de 2018, Penh.
• Tang, Gongbo, Mathias Müller, Annette Rios y Rico Sennrich. "¿Por qué la autoenvisión? Una evaluación específica de las arquitecturas de traducción automática neuronal". Actas de EMNLP (2018)

2017

• Domhan, Tobias y Felix Hieber. "Uso de datos monolingües del lado objetivo para la traducción del automóvil neuronal a través del aprendizaje de varias tareas". Actas de EMNLP (2017).