Language Model Pretraining for Text Generation

การสร้างแบบจำลองภาษาสำหรับรุ่นข้อความ

LM pretraining สำหรับรุ่น, รายการการอ่าน, ทรัพยากร, การแมปการประชุม

---

• การเป็นตัวแทนคำบริบทลึก (Elmo) NAACL 18

  • ฉันชอบ Elmo และ AI2

• เบิร์ต: การฝึกอบรมหม้อแปลงสองทิศทางลึกเพื่อความเข้าใจภาษา NAACL 19

• BART: denoising ลำดับก่อนการฝึกอบรมสำหรับการสร้างภาษาธรรมชาติการแปลและความเข้าใจ

  • SOTA ปัจจุบันเกี่ยวกับการสรุป

• แบบจำลองภาษาเป็นผู้เรียนมัลติทาสก์ที่ไม่ได้รับการดูแล (GPT2)

• การปรับปรุงความเข้าใจภาษาโดยการฝึกอบรมก่อนกำเนิด (GPT)

• การสำรวจขีด จำกัด ของการเรียนรู้การถ่ายโอนด้วยหม้อแปลงข้อความเป็นแบบรวมเป็นข้อความ (T5)

• แบบจำลองภาษาแบบครบวงจรการฝึกอบรมล่วงหน้าเพื่อความเข้าใจภาษาธรรมชาติและการสร้าง (UNILM), Neurips 19

  • Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu, Yu Wang, Jianfeng Gao, Ming Zhou, Hsiao-Wuen Hon MSR

• การสรุปข้อความด้วย encoders ที่ผ่านการฝึกอบรม ACL 19

• การเตรียมการที่ไม่ได้รับการดูแลเพื่อลำดับการเรียนรู้ลำดับ EMNLP 17

  • Prajit Ramachandran และ Peter J. Liu และ Quoc V. Le, Google Brain
  • ความคิดในการเตรียมการของ LM ก่อนเบิร์ต มีผลบังคับใช้กับ MT และการสรุป

• Mass: Masked Sequence to Sequence Pre-Training สำหรับการสร้างภาษา, ICML 19

  • Kaitao Song, Xu Tan, Tao Qin, Jianfeng Lu, Tie-yan Liu, Nju และ Msra

• การเป็นตัวแทนแบบจำลองภาษาที่ผ่านการฝึกอบรมมาก่อนสำหรับการสร้างภาษา NAACL 19

  • Sergey Edunov, Alexei Baevski, Michael Auli, Fair
  • LM Pretraining ปรับแต่งขนาดต่าง ๆ ของข้อมูล MT ยิ่งมีประสิทธิภาพมากขึ้นเท่านั้น

• การสร้างแบบจำลองลำดับกึ่งผู้ดูแลด้วยการฝึกอบรมข้ามมุมมอง (CVT) EMNLP 18

  • Kevin Clark, Minh-Thang Luong, Christopher D. Manning, Quoc V. Le
  • การเรียนรู้แบบกึ่งผู้ดูแลด้วยการเรียนรู้แบบหลายงาน MT เป็นหนึ่งแอปพลิเคชัน นอกจากนี้ยังมีการปรับปรุงงานอื่น ๆ

• ไม่กี่นัด NLG ที่มีรูปแบบภาษาที่ผ่านการฝึกอบรมมาก่อน

  • Zhiyu Chen, Harini Eavani, Yinyin Liu และ William Yang Wang
  • การกำกับดูแลสองสามครั้งที่รุนแรง: 50 อินสแตนซ์การฝึกอบรมได้รับ 26 bleu

• รูปแบบภาษาข้ามภาษา pretraining, arxiv 19

  • Guillaume Lample, Alexis Conneau, Fair
  • แอปพลิเคชันในการจำแนกประเภทข้ามภาษาการแปลเครื่องที่ไม่ได้รับการดูแลการแปลเครื่องภายใต้การดูแล (ทรัพยากรต่ำ) รูปแบบภาษาทรัพยากรต่ำ

• เบิร์ตมีปากและต้องพูด: เบิร์ตเป็นโมเดลภาษาแบบสุ่มของมาร์คอฟ arxiv 19

  • Alex Wang, Kyunghyun Cho, NYU
  • ตัวอย่างโดยตรงจากเบิร์ตไม่ได้มีประสิทธิภาพ

• การแปลเครื่องคงที่ด้วยโมเดลภาษาที่สวมหน้ากากแบบมีเงื่อนไข (ลิงก์)

  • Marjan Ghazvininejad, Omer Levy, Yinhan Liu และ Luke Zettlemoyer
  • การถอดรหัสซ้ำ: สร้างด้วยเบิร์ตจากนั้นขัดด้วยเบิร์ตแล้วขัดต่อไป