Language Model Pretraining for Text Generation

语言模型定位的文本生成

LM预处理生成，阅读清单，资源，会议映射。

---

• 深层上下文化的单词表示（Elmo）。 Naacl 18

  • 我就像Elmo和AI2一样。

• BERT：深层双向变压器的培训，以了解语言理解，NAACL 19

• 巴特：自然语言生成，翻译和理解的序列前训练的序列前训练。

  • 当前的SOTA总结

• 语言模型是无监督的多任务学习者（GPT2）

• 通过生成预训练（GPT）提高语言理解

• 使用统一的文本到文本变压器（T5）探索转移学习的限制

• 自然语言理解和产生的统一语言模型（UNILM），神经19

  • 李东，南杨，旺觉王，弗鲁·韦，小刘，王王，江高，明·朱，hsiao-wuen hon。 MSR

• 文本摘要用验证的编码器。 ACL 19

• 序列学习的序列无监督的预处理，EMNLP 17

  • Prajit Ramachandran和Peter J. Liu和Quoc V. Le，Google Brain
  • 在伯特之前，LM预处理的想法。对MT和总结有效。

• 质量：对语言产生的序列预训练的掩蔽顺序，ICML 19

  • Kaitao Song，Xu Tan，Tao Qin，Jianfeng Lu，Tie-Yan Liu，NJU和MSRA

• 语言产生的预训练的语言模型表示，NAACL 19

  • Sergey Edunov，Alexei Baevski，Michael Auli，Fair
  • LM预处理对不同的MT数据进行了调整。越小，性能增长就越多。

• 通过跨视图训练进行半监督序列建模。 （CVT）EMNLP 18

  • 凯文·克拉克（Kevin Clark），明（Minh-Thang Luong），克里斯托弗·D·曼宁（Christopher D. Manning），Quoc V. le
  • 通过多任务学习的半监督学习。 MT是一个应用程序。还改进了其他任务

• 具有预训练的语言模型的几个射击NLG

  • Zhiyu Chen，Harini Eavani，Yinyin Liu和William Yang Wang
  • 极端的几声监督： 50个培训实例获得26 BLEU

• 跨语性语言模型预处理，Arxiv 19

  • Guillaume Lample，Alexis Conneau，Fair
  • 应用于跨语言分类，无监督的机器翻译，有监督的机器翻译（低资源），低资源语言模型

• 伯特有一个嘴，必须说：伯特作为马尔可夫随机野外语言模型，arxiv 19

  • Alex Wang，Kyunghyun Cho，纽约大学
  • 直接从伯特采样，不那么有效。

• 带有条件蒙版语言模型（链接）的恒定时间机器翻译

  • Marjan Ghazvininejad，Omer Levy，Yinhan Liu和Luke Zettlemoyer
  • 迭代解码：与Bert生成，然后用Bert抛光，然后继续抛光