sockeye 다운로드 sockeye 소스 코드 다운로드

sockeye

파이썬

3.1.34

다운로드

홍인

Sockeye는 유지 보수 모드에 입력했으며 더 이상 새로운 기능을 추가하지 않습니다. 풀 요청, 발행 보고서 등으로 홍이크 개발 전반에 걸쳐 홍인에 기여한 모든 사람에게 감사합니다.

Sockeye는 Pytorch를 기반으로 한 신경 기계 번역을위한 오픈 소스 시퀀스-시퀀스 프레임 워크입니다. 그것은 최첨단 모델에 대한 분산 교육 및 최적화 된 추론, Amazon Translate 파워 및 기타 MT 응용 프로그램을 구현합니다. 최근 개발 및 변경 사항은 Changelog에서 추적됩니다.

모든 규모의 데이터에 대한 표준 NMT 모델을 교육하기위한 빠른 스타트 가이드는 WMT 2014 English-German 튜토리얼을 참조하십시오.

질문 및 발행 보고서는 Github에 문제를 제기하십시오.

버전 3.1.x : Pytorch 만

버전 3.1.x를 사용하면 MXNET 2.X에 대한 지원을 제거합니다. Pytorch 및 Sockeye 3.0.x로 훈련 된 모델은 Sockeye 3.1.x와 호환됩니다. 2.3.x (MXNET 사용)로 훈련 된 모델과 Sockeye 3.0.x의 변환 도구를 사용하여 Pytorch로 변환하여 Sockeye 3.1.x와 함께 사용할 수 없습니다.

버전 3.0.0 : 동시 pytorch 및 mxnet 지원

버전 3.0.0으로 시작하여 Sockeye는 Pytorch를 기반으로합니다. 우리는 3.0.x로 버전 2.3.x의 mxnet 모델과의 역 호환성을 유지합니다. mxnet 2.x가 설치되면 Sockeye는 Pytorch 또는 MXnet과 함께 실행할 수 있습니다.

2.3.x (MXNET 사용)로 훈련 된 모든 모델은 변환기 CLI ( sockeye.mx_to_pt )를 사용하여 Pytorch로 실행되는 모델로 변환 할 수 있습니다. 이렇게하면 Pytorch 매개 변수 파일 ( <model>/params.best )을 생성하고 기존 MXNET 매개 변수 파일을 <model>/params.best.mx 로 백업합니다. 이것은 추론에 사용될 완전 훈련 된 모델에만 적용됩니다. Pytorch를 사용한 MXNET 모델의 지속적인 교육은 지원되지 않습니다 (우리는 교육 및 최적화 상태를 변환하지 않기 때문에). sockeye.mx_to_pt 는 mxnet을 환경에 설치해야합니다.

버전 3.0.0의 모든 CLI는 이제 기본적으로 pytorch sockeye-{train,translate,score} 사용합니다. MXNET 기반 CLI/모듈은 여전히 작동하며 sockeye-{train,translate,score}-mx 통해 액세스 할 수 있습니다.

Sockeye 3은 MXNET없이 설치 및 실행할 수 있지만 설치하면 확장 된 테스트 스위트가 실행되어 Pytorch와 MXNET 모델 간의 동등성을 보장합니다. mxnet으로 sockeye 3.0.0을 실행하면 mxnet 2.x를 설치해야합니다 ( pip install --pre -f https://dist.mxnet.io/python 'mxnet>=2.0.0b2021' ).

설치

현재 버전의 Sockeye를 다운로드하십시오.

git clone https://github.com/awslabs/sockeye.git

Sockeye 모듈 및 그 종속성을 설치하십시오.

 cd sockeye && pip3 install --editable .

더 빠른 GPU 교육을 위해 NVIDIA APEX를 설치하십시오. Nvidia는 또한 Apex를 포함하는 Pytorch Docker 컨테이너를 제공합니다.

선적 서류 비치

Sockeye 사용 방법에 대한 자세한 내용은 문서를 방문하십시오.
개발자는 개발자 지침에 관심이있을 수 있습니다.

오래된 버전

Pytorch & MXnet 2.X를 기반으로 한 Sockeye 3.0은 sockeye_30 지점에서 사용할 수 있습니다.
MXnet Gluon API를 기반으로하는 Sockeye 2.X는 sockeye_2 지점에서 제공됩니다.
MXNET 모듈 API를 기반으로하는 Sockeye 1.X는 sockeye_1 분기에서 사용할 수 있습니다.

소환

Sockeye에 대한 자세한 내용은 논문 (Bibtex)을 참조하십시오.

Sockeye 3.x

Felix Hieber, Michael Denkowski, Tobias Domhan, Barbara Darques Barros, Celina Dong Ye, Xing Niu, Cuong Hoang, Ke Tran, Benjamin Hsu, Maria Nadejde, Surafel Lakew, Prashant Mathur, Anna Currey, Marcello Federico. Sockeye 3 : Pytorch와의 빠른 신경 기계 번역. Arxiv e 프린트.

Sockeye 2.x

Tobias Domhan, Michael Denkowski, David Vilar, Xing Niu, Felix Hieber, Kenneth Heafield. AMTA 2020의 Sockeye 2 Neural Machine Translation Toolkit. 아메리카에서 기계 번역 협회 (AMTA'20) 14 번째 회의의 절차.

Felix Hieber, Tobias Domhan, Michael Denkowski, David Vilar. Sockeye 2 : 신경 기계 번역을위한 툴킷. 유럽 기계 번역 협회, 프로젝트 트랙 (EAMT'20)의 22 차 연례 회의 절차.

Sockeye 1.x

Felix Hieber, Tobias Domhan, Michael Denkowski, David Vilar, Artem Sokolov, Ann Clifton, Matt Post. AMTA 2018의 Sockeye Neural Machine Translation Toolkit. 아메리카 대기 기계 번역 협회 (AMTA'18)의 13 차 회의 절차.
Felix Hieber, Tobias Domhan, Michael Denkowski, David Vilar, Artem Sokolov, Ann Clifton 및 Matt Post. 2017. SOCKEEE : 신경 기계 번역을위한 툴킷. Arxiv e 프린트.

Sockeye와의 연구

Sockeye는 학업 및 산업 연구에 사용되었습니다. Sockeye를 사용하는 알려진 출판물 목록은 다음과 같습니다. 더 알고 있다면 당사에 알려 주거나 풀 요청을 제출하십시오 (마지막 업데이트 : 2022 년 5 월).

2023

Zhang, Xuan, Kevin Duh, Paul McNamee. "신경 기계 번역 연구를위한 하이퍼 파라미터 최적화 툴킷". ACL의 절차 (2023).

2022

Currey, Anna, Maria NĂdejde, Raghavendra Pappagari, Mia Mayer, Stanislas Lauly, Xing Niu, Benjamin Hsu, Georgiana Dinu. "MT-Geneval : 기계 번역에서 성별 정확도를 평가하기위한 반 사실적이고 상황에 맞는 데이터 세트". EMNLP의 절차 (2022).
Domhan, Tobias, Eva Hasler, Ke Tran, Sony Trenous, Bill Byrne 및 Felix Hieber. "악마는 세부 사항에 있습니다 : 신경 기계 번역에서 어휘 선택의 함정". NAACL-HLT의 절차 (2022)
Fischer, Lukas, Patricia Scheurer, Raphael Schwitter, Martin Volk. "라틴어에서 독일어로 16 세기 편지의 기계 번역". 역사 및 고대 언어를위한 언어 기술에 관한 워크숍 (2022).
Knowles, Rebecca, Patrick Littell. "저주적 기계 번역을위한 기준으로서의 번역 기억". LREC의 절차 (2022)
McNamee, Paul, Kevin Duh. "다국어 마이크로 블로그 번역 코퍼스 : 사용자 생성 텍스트의 번역 개선 및 평가". LREC의 절차 (2022)
Nadejde Maria, Anna Currey, Benjamin Hsu, Xing Niu, Marcello Federico, Georgiana Dinu. "Cocoa-MT : 공식에 적용되는 대조적 인 제어 MT를위한 데이터 세트 및 벤치 마크". NaaCl의 절차 (2022).
Weller-Di Marco, Marion, Matthias Huck, Alexander Fraser. "신경 기계 번역에서 목표 측면 형태 모델링 : 전략 비교". Arxiv preprint arxiv : 2203.13550 (2022)

2021

Bergmanis, Toms, Mārcis Pinnis. "목표 레마 주석을 가진 용어 번역 촉진". Arxiv preprint arxiv : 2101.10035 (2021)
Briakou, Eleftheria, Marine Carpuat. "너머의 소음 : 신경 기계 번역에 대한 세밀한 의미 론적 발산의 영향을 완화". Arxiv preprint arxiv : 2105.15087 (2021)
Hasler, Eva, Tobias Domhan, Sony Trenous, Ke Tran, Bill Byrne, Felix Hieber. "신경 기계 번역 다중 도메인 적응의 품질 트레이드 오프 개선". EMNLP의 절차 (2021)
Tang, Gongbo, Philipp Rönchen, Rico Sennrich, Joakim Nivre. "신경 기계 번역에서 부정을 재 방문한다". 계산 언어학 협회의 거래 9 (2021)
vu, Thuy, Alessandro Moschitti. "웹에서 자동 교육 데이터 선택을 통한 기계 번역 사용자 정의". Arxiv preprint arxiv : 2102.1024 (2021)
Xu, Weijia, 해양 칸푸트. "편집자 : 부드러운 어휘 제약으로 신경 기계 번역을위한 재배치가있는 편집 기반 변압기." 계산 언어학 협회의 거래 9 (2021)
Müller, Mathias, Rico Sennrich. "신경 기계 번역에서 최소 베이 즈 위험 디코딩의 특성 이해". 컴퓨터 언어학 협회 59 차 연례 회의 및 자연 언어 처리에 관한 제 11 회 국제 공동 회의 (1 권 : 긴 논문) (2021)
Popović, Maja, Alberto Poncelas. "사용자 리뷰의 기계 번역에." RANLP의 절차 (2021)
Popović, Maja. "관찰 된 MT 오류의 본질과 원인에." 18 번째 MT 서밋 절차 (1 권 : 연구 트랙) (2021)
Jain, Nishtha, Maja Popović, Declan Groves, Eva Vanmassenhove. "NLP에 대한 성별 증강 데이터 생성." 자연 언어 처리의 성별 편견에 관한 세 번째 워크숍의 절차 (2021)
Vilar, David, Marcello Federico. "바이트 쌍 인코딩의 통계 확장." IWSLT의 절차 (2021)

2020

Dinu, Georgiana, Prashant Mathur, Marcello Federico, Stanislas Lauly, Yaser al-Onaizan. "엔드 투 엔드 현지화를위한 공동 번역 및 단위 변환." IWSLT의 절차 (2020)
Exel, Miriam, Bianka Buschbeck, Lauritz Brandt, Simona Doneva. "SAP에서 용어로 제한 된 신경 기계 번역". EAMT의 절차 (2020).
Hisamoto, Sorami, Matt Post, Kevin Duh. "시퀀스-시퀀스 모델에 대한 멤버쉽 추론 공격 : 기계 번역 시스템에 내 데이터가 있습니까?" 계산 언어학 협회의 거래, 8 권 (2020)
Naradowsky, Jason, Xuan Zhan, Kevin Duh. "산적 피드백에서 기계 번역 시스템 선택." Arxiv preprint arxiv : 2002.09646 (2020)
Niu, Xing, Prashant Mathur, Georgiana Dinu, Yaser al-Onaizan. "신경 기계 번역을위한 섭동을 입력하기위한 견고성 평가". Arxiv preprint arxiv : 2005.00580 (2020)
Niu, Xing, 해양 칸푸트. "합성 감독으로 신경 기계 번역 형식 제어." AAAI의 절차 (2020)
Keung, Phillip, Julian Salazar, Yichao Liu, Noah A. Smith. "자가 훈련 된 맥락 임베드를 통한 감독되지 않은 Bitext 마이닝 및 번역." Arxiv preprint arxiv : 2010.07761 (2020).
Sokolov, Alex, Tracy Rohlin, Ariya Rastrow. "다국어 그래프 로의 신경 전환을위한 신경 기계 번역." Arxiv preprint arxiv : 2006.14194 (2020)
Stafanovičs, Artūrs, Toms Bergmanis, Mārcis Pinnis. "목표 성별 주석을 가진 기계 번역에서 성 편견을 완화." Arxiv preprint arxiv : 2010.06203 (2020)
Stojanovski, Dario, Alexander Fraser. "신경 기계 번역에서 문서 수준 컨텍스트를 사용하여 제로 소스 도메인을 다루고 있습니다." arxiv preprint arxiv preprint arxiv : 2004.14927 (2020)
Stojanovski, Dario, Benno Krojer, Denis Peskov, Alexander Fraser. "Contracat : 기계 번역을위한 대조적 인 Correference Analytical Template". Coling의 절차 (2020)
Zhang, Xuan, Kevin Duh. "신경 기계 번역 시스템의 초 파라미터 최적화를위한 재현 가능하고 효율적인 벤치 마크." 계산 언어학 협회의 거래, 8 권 (2020)
Swe Zin Moe, Ye Kyaw Thu, Hnin Aye Thant, Nandar Win Min 및 Thepchai Supnithi, "미얀마 수화와 미얀마 언어 사이의 감독되지 않은 신경 기계 번역", 지능형 정보학 및 스마트 기술 저널, 4 월 1 일, 2020 년 4 월 1 일, pp. 53-61. (2019 년 12 월 21 일 제출; 2020 년 3 월 6 일 수락; 2020 년 3 월 16 일 개정; 2020 년 4 월 30 일 온라인 출판)
Thazin myint oo, Ye Kyaw Thu, Khin Mar Soe 및 Thepchai supnithi, "미얀마 (Burmese)와 Dawei (Tavoyan) 사이의 신경 기계 번역", 컴퓨터 응용 프로그램에 관한 제 18 회 국제 회의 (ICCA 2020), 2020 년 2 월 27-28 일, Yangon, Myanmar, PP. 219-227.
Müller, Mathias, Annette Rios, Rico Sennrich. "신경 기계 번역에서 도메인 견고성." AMTA의 절차 (2020)
Rios, Annette, Mathias Müller, Rico Sennrich. "서브 워드 세분화 및 단일 브리지 언어는 제로 샷 신경 기계 번역에 영향을 미칩니다." 제 5 차 WMT 절차 : 연구 논문 (2020)
Popović, Maja, Alberto Poncelas. "비슷한 남부 노예 언어들 사이의 신경 기계 번역." 제 5 차 WMT 절차 : 연구 논문 (2020)
Popović, Maja, Alberto Poncelas. "문자 N- 그램 매칭을 사용하여 부정확 한 병렬 데이터에서 세그먼트를 올바르게 정렬합니다." 언어 기술 및 디지털 인문학에 관한 회의 절차 (JTDH 2020).
Popović, Maja, Alberto Poncelas, Marija Brkic, Andy Way. "크로아티아와 세르비아 인으로 번역하기위한 신경 기계 번역." 유사한 언어, 품종 및 방언에 대한 NLP에 대한 7 번째 워크숍의 절차 (2020)

2019

Agrawal, Sweta, Marine Carpuat. "신경 기계 번역에서 텍스트 복잡성 제어." EMNLP의 절차 (2019)
Beck, Daniel, Trevor Cohn, Gholamreza Haffari. "격자 변환 및 그래프 네트워크를 사용한 신경 언어 번역." TextGraphs-13의 절차 (EMNLP 2019)
커리, 안나, 케네스 히 필드. "단일 자원의 피벗 데이터를 통한 제로 소스 신경 기계 번역." EMNLP의 절차 (2019)
Gupta, Prabhakar, Mayank Sharma. "디지털 엔터테인먼트 컨텐츠 자막에 대한 감독되지 않은 번역 품질 추정." IEEE International Journal of Semantic Computing (2019)
Hu, J. Edward, Huda Khayrallah, Ryan Culkin, Patrick Xia, Tongfei Chen, Matt Post 및 Benjamin van Durme. "번역 및 단일 언어 재 작성을위한 어휘 제약 디코딩 향상." NAACL-HLT의 절차 (2019)
Rosendahl, Jan, Christian Herold, Yunsu Kim, Miguel Graça, Weiyue Wang, Parnia Bahar, Yingbo Gao 및 Hermann Ney“WMT 2019를위한 RWTH Aachen University Machine Systems”4 번째 WMT : 연구 논문 (2019)
Thompson, Brian, Jeremy Gwinnup, Huda Khayrallah, Kevin Duh 및 Philipp Koehn. "신경 기계 번역의 도메인 적응 중에 치명적인 잊어 버리는 극복." NAACL-HLT 2019의 절차 (2019)
Tättar, Andre, Elizaveta Korotkova, Mark Fishel“Tartu University의 다국어 다중 도메인 Wmt19 뉴스 번역 공유 작업 제출”4 번째 Wmt : Research Papers (2019)
Thazin Myint Oo, Ye Kyaw Thu 및 Khin Mar Soe, "미얀마 (Burmese)와 Rakhine (Arakanese) 사이의 신경 기계 번역", 비슷한 언어, 품종 및 방언에 대한 NLP에 대한 여섯 번째 워크숍 진행, Naacl-2019, 2019 년 6 월 7 일, 미니 폴리스, 미국, 80-88.

2018

도한, 토비아스. "얼마나 많은 관심이 필요합니까? 신경 기계 번역 아키텍처의 세분화 된 분석". 56 번째 ACL 절차 (2018)
Kim, Yunsu, Yingbo Gao 및 Hermann Ney. "공유 어휘가없는 신경 기계 번역 모델의 효과적인 교차 전송." Arxiv preprint arxiv : 1905.05475 (2019)
Korotkova, Elizaveta, Maksym Del 및 Mark Fishel. "단일 및 교차 언어 제로 샷 스타일 전송." Arxiv preprint arxiv : 1808.00179 (2018)
Niu, Xing, Michael Denkowski 및 Marine Carpuat. "합성 병렬 데이터를 사용한 양방향 신경 기계 번역." Arxiv preprint arxiv : 1805.11213 (2018)
Niu, Xing, Sudha Rao 및 Marine Carpuat. "언어 내와 언어에서 스타일을 번역하기위한 멀티 태스킹 신경 모델." Coling (2018)
게시물, Matt 및 David Vilar. "신경 기계 번역을위한 동적 빔 할당으로 빠른 어휘 제한된 디코딩." NAACL-HLT의 절차 (2018)
Schamper, Julian, Jan Rosendahl, Parnia Bahar, Yunsu Kim, Arne Nix 및 Hermann Ney. "WMT 2018 용 RWTH AACHEN University 감독 기계 번역 시스템." 3 차 WMT 절차 : 공유 작업 논문 (2018)
Schulz, Philip, Wilker Aziz 및 Trevor Cohn. "신경 기계 번역을위한 확률 디코더." Arxiv preprint arxiv : 1805.10844 (2018)
Tamer, Alkouli, Gabriel Bretschner 및 Hermann Ney. "멀티 헤드주의 기반 신경 기계 번역의 정렬 문제에." 제 3 차 WMT 절차 : 연구 논문 (2018)
Tang, Gongbo, Rico Sennrich 및 Joakim Nivre. "주의 메커니즘의 분석 : 신경 기계 번역에서 단어 감각의 사례." 3 차 WMT 절차 : 연구 논문 (2018)
Thompson, Brian, Huda Khayrallah, Antonios Anastasopoulos, Arya McCarthy, Kevin Duh, Rebecca Marvin, Paul McNamee, Jeremy Gwinnup, Tim Anderson 및 Philipp Koehn. "신경 기계 번역에서 도메인 적응을 분석하기위한 서브 네트워크 동결." Arxiv preprint arxiv : 1809.05218 (2018)
Vilar, David. "신경 기계 번역 모델을 조정하기위한 숨겨진 단위 기여도 학습." NAACL-HLT의 절차 (2018)
Vyas, Yogarshi, Xing Niu 및 Marine Carpuat“주석없이 병렬 텍스트에서 의미 론적 차이를 식별하는 것”. NAACL-HLT의 절차 (2018)
Wang, Weiyue, Derui Zhu, Tamer Alkhouli, Zixuan Gan 및 Hermann Ney. "기계 번역을위한 신경 숨겨진 마르코프 모델". 56 번째 ACL 절차 (2018)
Zhang, Xuan, Gaurav Kumar, Huda Khayrallah, Kenton Murray, Jeremy Gwinnup, Marianna J Martindale, Paul McNamee, Kevin Duh 및 Marine Carpuat. "신경 기계 번역을위한 커리큘럼 학습의 경험적 탐구." ARXIV PREPRINT ARXIV : 1811.00739 (2018)
Swe Zin Moe, Ye Kyaw Thu, Hnin Aye Thant 및 Nandar Win Min, "미얀마 수화와 미얀마 서면 텍스트 사이의 신경 기계 번역", 광학적 문자 인식 및 자연 언어 처리 기술 2018 (ONA 2018), 2018 년 12 월 13-14 일, Phnom Penh, Cambodia, Prnom Penh.
Tang, Gongbo, Mathias Müller, Annette Rios 및 Rico Sennrich. "왜 자기 변환? 신경 기계 번역 아키텍처의 목표 평가." EMNLP의 절차 (2018)