Language Model Pretraining for Text Generation

語言模型定位的文本生成

LM預處理生成，閱讀清單，資源，會議映射。

---

• 深層上下文化的單詞表示（Elmo）。 Naacl 18

  • 我就像Elmo和AI2一樣。

• BERT：深層雙向變壓器的培訓，以了解語言理解，NAACL 19

• 巴特：自然語言生成，翻譯和理解的序列前訓練的序列前訓練。

  • 當前的SOTA總結

• 語言模型是無監督的多任務學習者（GPT2）

• 通過生成預訓練（GPT）提高語言理解

• 使用統一的文本到文本變壓器（T5）探索轉移學習的限制

• 自然語言理解和產生的統一語言模型（UNILM），神經19

  • 李東，南楊，旺覺王，弗魯·韋，小劉，王王，江高，明·朱，hsiao-wuen hon。 MSR

• 文本摘要用驗證的編碼器。 ACL 19

• 序列學習的序列無監督的預處理，EMNLP 17

  • Prajit Ramachandran和Peter J. Liu和Quoc V. Le，Google Brain
  • 在伯特之前，LM預處理的想法。對MT和總結有效。

• 質量：對語言產生的序列預訓練的掩蔽順序，ICML 19

  • Kaitao Song，Xu Tan，Tao Qin，Jianfeng Lu，Tie-Yan Liu，NJU和MSRA

• 語言產生的預訓練的語言模型表示，NAACL 19

  • Sergey Edunov，Alexei Baevski，Michael Auli，Fair
  • LM預處理對不同的MT數據進行了調整。越小，性能增長就越多。

• 通過跨視圖訓練進行半監督序列建模。 （CVT）EMNLP 18

  • 凱文·克拉克（Kevin Clark），明（Minh-Thang Luong），克里斯托弗·D·曼寧（Christopher D. Manning），Quoc V. le
  • 通過多任務學習的半監督學習。 MT是一個應用程序。還改進了其他任務

• 具有預訓練的語言模型的幾個射擊NLG

  • Zhiyu Chen，Harini Eavani，Yinyin Liu和William Yang Wang
  • 極端的幾聲監督： 50個培訓實例獲得26 BLEU

• 跨語性語言模型預處理，Arxiv 19

  • Guillaume Lample，Alexis Conneau，Fair
  • 應用於跨語言分類，無監督的機器翻譯，有監督的機器翻譯（低資源），低資源語言模型

• 伯特有一個嘴，必須說：伯特作為馬爾可夫隨機野外語言模型，arxiv 19

  • Alex Wang，Kyunghyun Cho，紐約大學
  • 直接從伯特採樣，不那麼有效。

• 帶有條件蒙版語言模型（鏈接）的恆定時間機器翻譯

  • Marjan Ghazvininejad，Omer Levy，Yinhan Liu和Luke Zettlemoyer
  • 迭代解碼：與Bert生成，然後用Bert拋光，然後繼續拋光