Language Model Pretraining for Text Generation

텍스트에서 언어 모델-제조

LM 세대, 독서 목록, 리소스, 컨퍼런스 매핑을위한 LM 사전 여지.

---

• 깊은 맥락화 된 단어 표현 (ELMO). NAACL 18

  • 나는 Elmo와 AI2를 좋아합니다.

• 버트 : 언어 이해를위한 심층 양방향 변압기의 사전 훈련, NAACL 19

• BART : 자연 언어 생성, 번역 및 이해에 대한 시퀀스-시퀀스 사전 훈련.

  • 요약에 대한 현재 소타

• 언어 모델은 감독되지 않은 멀티 태스킹 학습자 (GPT2)입니다.

• 생성 사전 훈련 (GPT)에 의한 언어 이해 향상

• 통합 텍스트-텍스트 변압기 (T5)로 전송 학습의 한계 탐색

• 자연어 이해 및 세대를위한 통합 언어 모델 사전 훈련 (UNILM), Neurips 19

  • Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu, Yu Wang, Jianfeng Gao, Ming Zhou, Hsiao-Wuen Hon. MSR

• 사전 치료 된 인코더를 사용한 텍스트 요약. ACL 19

• 서열 학습에 대한 서열에 대한 감독되지 않은 사전 조정, EMNLP 17

  • Prajit Ramachandran 및 Peter J. Liu 및 Quoc V. Le, Google Brain
  • Bert 이전의 LM 사전 조정 아이디어. MT 및 요약에 효과적입니다.

• 질량 : 언어 생성에 대한 시퀀스 사전 훈련에 마스크 시퀀스, ICML 19

  • Kaitao Song, Xu Tan, Tao Qin, Jianfeng Lu, Tie-Yan Liu, NJU 및 MSRA

• 언어 생성에 대한 미리 훈련 된 언어 모델 표현, NAACL 19

  • Sergey Edunov, Alexei Baevski, Michael Auli, Fair
  • LM은 다양한 크기의 MT 데이터로 미세 조정되었습니다. 성능이 작을수록 성능이 작습니다.

• 크로스 뷰 교육을 통한 반 감독 시퀀스 모델링. (CVT) EMNLP 18

  • Kevin Clark, Minh-Thang Luong, Christopher D. Manning, Quoc V. Le
  • 멀티 태스킹 학습을 통한 반 감독 학습. MT는 하나의 응용 프로그램입니다. 또한 다른 작업에 대한 개선

• 미리 훈련 된 언어 모델을 가진 몇 가지 샷 NLG

  • Zhiyu Chen, Harini Eavani, Yinyin Liu 및 William Yang Wang
  • 극한 소수의 감독 : 50 개의 훈련 인스턴스가 26 개의 bleu를 얻습니다

• 언어 간 언어 모델 사전 조정, Arxiv 19

  • Guillaume Lample, Alexis Conneau, Fair
  • 교차-언어 분류 신청, 감독되지 않은 기계 번역, 감독 기계 번역 (저주적 자원), 저주적 언어 모델

• Bert는 입을 가지고 있으며 말해야합니다 : Bert는 Markov Random Field Language Model, Arxiv 19입니다.

  • Alex Wang, Kyunghyun Cho, NYU
  • 효과적이지 않은 Bert에서 직접 샘플링하십시오.

• 조건부 마스크 언어 모델을 사용한 지속 시간 기계 번역 (링크)

  • Marjan Ghazvininejad, Omer Levy, Yinhan Liu 및 Luke Zettlemoyer
  • 반복 디코딩 : Bert로 생성 한 다음 Bert로 연마 한 다음 계속 닦아냅니다.