Language Model Pretraining for Text Generation

Bahasa-model-pretraining-for-text-generation

LM Pretraining for Generation, Reading List, Sumber Daya, Pemetaan Konferensi.

---

• Representasi kata yang dalam (Elmo). NAACL 18

  • Saya hanya suka Elmo dan AI2.

• Bert: Pra-pelatihan transformator dua arah yang dalam untuk pemahaman bahasa, NAACL 19

• BART: Denoising urutan-ke-urutan pra-pelatihan untuk generasi bahasa alami, terjemahan, dan pemahaman.

  • SOTA saat ini tentang peringkasan

• Model bahasa adalah pelajar multitask tanpa pengawasan (GPT2)

• Meningkatkan pemahaman bahasa dengan pra-pelatihan generatif (GPT)

• Menjelajahi Batas Pembelajaran Transfer dengan Transformator Teks ke Teks Terpadu (T5)

• Model bahasa terpadu pra-pelatihan untuk pemahaman dan generasi bahasa alami (unilm), neurips 19

  • Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu, Yu Wang, Jianfeng Gao, Ming Zhou, Hsiao-Wuen Hon. Msr

• Ringkasan teks dengan encoder pretrained. ACL 19

• Pretraining tanpa pengawasan untuk urutan ke urutan pembelajaran, EMNLP 17

  • Prajit Ramachandran dan Peter J. Liu dan Quoc V. Le, Google Brain
  • Ide pretraining LM, sebelum Bert. Efektif pada MT dan peringkasan.

• Massa: Urutan bertopeng untuk urutan pra-pelatihan untuk pembuatan bahasa, ICML 19

  • Lagu Kaitao, Xu Tan, Tao Qin, Jianfeng Lu, Tie-Yan Liu, Nju dan MSRA

• Representasi model bahasa pra-terlatih untuk generasi bahasa, NAACL 19

  • Sergey Edunov, Alexei Baevski, Michael Auli, Fair
  • Pretraining LM disetel dengan ukuran data MT yang berbeda. Semakin kecil semakin sedikit perolehan kinerja.

• Pemodelan urutan semi-diawasi dengan pelatihan cross-view. (CVT) EMNLP 18

  • Kevin Clark, Minh-Ther Luong, Christopher D. Manning, Quoc V. Le
  • Pembelajaran semi-diawasi dengan pembelajaran multi-tugas. MT adalah satu aplikasi. Juga perbaikan pada tugas lain

• Beberapa shot nlg dengan model bahasa pra-terlatih

  • Zhiyu Chen, Harini Eavani, Yinyin Liu, dan William Yang Wang
  • Pengawasan beberapa tembakan ekstrem: 50 instance pelatihan mendapatkan 26 bleu

• Pretraining model bahasa lintas-bahasa, arxiv 19

  • Guillaume Lample, Alexis Conneau, adil
  • Aplikasi untuk klasifikasi lintas-bahasa, terjemahan mesin yang tidak diawasi, terjemahan mesin yang diawasi (sumber daya rendah), model bahasa rendah sumber daya rendah

• Bert memiliki mulut, dan itu harus berbicara: Bert sebagai Model Bahasa Markov Random Field, Arxiv 19

  • Alex Wang, Kyunghyun Cho, NYU
  • Sampel langsung dari Bert, tidak efektif.

• Terjemahan mesin waktu konstan dengan model bahasa bertopeng bersyarat (tautan)

  • Marjan Ghazvininejad, Omer Levy, Yinhan Liu dan Luke Zettlemoyer
  • Decoding Iteratif: Hasilkan dengan Bert, lalu Polandia dengan Bert, lalu lanjutkan Polandia