Language Model Pretraining for Text Generation

言語 - モデル - ターニングフォーテキスト系

生成、読書リスト、リソース、会議マッピングのためのLM事前化。

---

• 深い文脈化された単語表現（ELMO）。 NAACL 18

  • 私はエルモとAI2が好きです。

• バート：言語理解のための深い双方向トランスの事前訓練、NAACL 19

• BART：自然言語の生成、翻訳、および理解のためのシーケンスからシーケンス前訓練を除去。

  • 要約に関する現在のソタ

• 言語モデルは教師なしマルチタスク学習者（GPT2）です

• 生成前のトレーニング（GPT）による言語理解の向上

• 統一されたテキストツーテキストトランス（T5）を使用した転送学習の限界を調査する

• 自然言語の理解と生成のための事前トレーニング（Unilm）、Neurips 19

  • Li Dong、Nan Yang、Wenhui Wang、Furu Wei、Xiaodong Liu、Yu Wang、Jianfeng Gao、Ming Zhou、Hsiao-Wuen Hon。 MSR

• 前処理されたエンコーダーを使用したテキストの要約。 ACL 19

• シーケンスのシーケンス学習、EMNLP 17の監視されていない事前に除外されていません

  • Prajit RamachandranとPeter J. LiuとQuoc V. Le、Google Brain
  • Bertの前のLM事前削除のアイデア。 MTと要約に有効。

• 質量：言語生成の前トレーニング前のシーケンスへのマスクされたシーケンス、ICML 19

  • Kaitao Song、Xu Tan、Tao Qin、Jianfeng Lu、Tie-Yan Liu、Nju、Msra

• 言語生成の事前に訓練された言語モデル表現、NAACL 19

  • Sergey Edunov、Alexei Baevski、Michael Auli、Fair
  • さまざまなサイズのMTデータで微調整されたLM Pretraining。小さいほど、パフォーマンスが大きくなります。

• クロスビュートレーニングを使用した半監視シーケンスモデリング。 （CVT）EMNLP 18

  • ケビン・クラーク、ミン・タン・ルオン、クリストファー・D・マニング、Quoc V. Le
  • マルチタスク学習による半学習学習。 MTは1つのアプリケーションです。他のタスクの改善も

• 事前に訓練された言語モデルを備えた少数のNLG

  • Zhiyu Chen、Harini Eavani、Yinyin Liu、William Yang Wang
  • 極端な少数のショット監督： 50のトレーニングインスタンスは26ブルーを獲得します

• 横断言語モデル前脱直、arxiv 19

  • Guillaume Lample、Alexis Conneau、Fair
  • 横断的分類、監視なしの機械翻訳、監視された機械翻訳（低リソース）、低リソース言語モデルへの応用

• バートには口があり、それは話さなければなりません：マルコフランダムフィールド言語モデルとしてのバート、arxiv19

  • アレックス・ワン、キュンギョン・チョー、ニュウ
  • BERTから直接サンプリングしますが、それほど効果的ではありません。

• 条件付きマスク言語モデルを使用した一定の時間機械翻訳（リンク）

  • Marjan Ghazvininejad、Omer Levy、Yinhan Liu、Luke Zettlemoyer
  • 反復デコード：バートで生成してから、バートで磨き、ポーランド語を続行します