AMOS

아모스

이 저장소에는 접착제 및 분대 2.0 벤치 마크에서 미세 조정 AMOS 사전 모델링 모델을위한 스크립트가 포함되어 있습니다.

종이 : 훈련 신호 생성기의 대적 혼합이있는 사전 여파 텍스트 인코더

개요

우리는 널리 사용되는 두 개의 오픈 소스 코드베이스 인 FairSeQ 라이브러리 및 Huggingface Transformers 라이브러리를 기반으로 두 가지 버전으로 스크립트를 제공합니다. 두 코드 버전은 대부분 기능이 동일하며 그 중 하나를 자유롭게 사용할 수 있습니다. 그러나 FairSeQ 버전은 실험에서 사용한 것이며 논문의 결과를 가장 잘 재현 할 것입니다. Huggingface 버전은 나중에 Huggingface Transformers 라이브러리와 호환성을 제공하기 위해 구현되며 약간 다른 결과를 얻을 수 있습니다.

코드를 실행하기 위해 두 디렉토리의 readme 파일을 팔로우하십시오.

미세 조정 결과를 붙입니다

일반 언어 이해 평가 (Glue) 벤치 마크는 자연어 이해 시스템을 평가하고 분석하기위한 문장 또는 문장 쌍 언어 이해 작업의 모음입니다.

접착제 개발자 세트 AMOS베이스 ++ 모델의 결과는 다음과 같습니다 (5 개의 다른 임의의 시드 중앙값) :

모델	mnli-m/mm	QQP	qnli	SST-2	콜라	RTE	MRPC	STS-B	avg
아모스베이스 ++	90.5/90.4	92.4	94.4	95.5	71.8	86.6	91.7	92.0	89.4

AMOS베이스 ++ 모델의 접착제 테스트 세트 결과는 다음과 같습니다 (앙상블, 작업 별 트릭 등) :

모델	mnli-m/mm	QQP	qnli	SST-2	콜라	RTE	MRPC	STS-B	avg
아모스베이스 ++	90.4/89.9	90.2	94.6	96.8	69.2	83.6	88.9	91.3	88.1

분대 2.0 미세 조정 결과

스탠포드 질문 답변 데이터 세트 (Squad)는 Wikipedia 기사 세트에서 크라우드 노동자들이 제기 한 질문으로 구성된 독해 데이터 세트로, 모든 질문에 대한 답변은 해당 독서 구절에서 텍스트 또는 스팬이거나 의문의 여지가 없을 수 있습니다.

Squad 2.0 Dev 세트 AMOS BASE ++ 및 LARGE ++ 모델의 결과는 다음과 같습니다 (5 개의 다른 임의 종자 중앙값) :

모델	여자 이름	F1
아모스베이스 ++	85.0	87.9

소환

연구에 유용한 코드와 모델을 찾으면 다음 논문을 인용하십시오.

 @inproceedings{meng2022amos,
  title={Pretraining Text Encoders with Adversarial Mixture of Training Signal Generators},
  author={Meng, Yu and Xiong, Chenyan and Bajaj, Payal and Tiwary, Saurabh and Bennett, Paul and Han, Jiawei and Song, Xia},
  booktitle={International Conference on Learning Representations},
  year={2022}
}

기여

이 프로젝트는 기여와 제안을 환영합니다. 대부분의 기부금은 귀하가 귀하가 귀하의 기부금을 사용할 권리를 부여 할 권리가 있다고 선언하는 기고자 라이센스 계약 (CLA)에 동의해야합니다. 자세한 내용은 https://cla.opensource.microsoft.com을 방문하십시오.

풀 요청을 제출할 때 CLA 봇은 CLA를 제공하고 PR을 적절하게 장식 해야하는지 자동으로 결정합니다 (예 : 상태 점검, 댓글). 봇이 제공 한 지침을 따르십시오. CLA를 사용하여 모든 저장소에서 한 번만이 작업을 수행하면됩니다.

이 프로젝트는 Microsoft 오픈 소스 행동 강령을 채택했습니다. 자세한 내용은 추가 질문이나 의견이 있으면 행동 강령 FAQ 또는 [email protected]에 문의하십시오.