Language Model Pretraining for Text Generation

Sprachmodell-Vorrückung-für-Text-Generation

LM Vorbereitung für Generation, Leseliste, Ressourcen, Konferenzzuordnungen.

---

• Tiefe kontextualisierte Wortrepräsentationen (ELMO). Naacl 18

  • Ich mag nur Elmo und AI2.

• Bert: Vorausbildung von tiefen bidirektionalen Transformatoren für das Sprachverständnis, Naacl 19

• BART: Denoising-Sequenz-zu-Sequenz-Vor-Training für die Erzeugung, Übersetzung und das Verständnis der natürlichen Sprache.

  • Aktueller SOTA zur Zusammenfassung

• Sprachmodelle sind unbeaufsichtigte Multitasking -Lernende (GPT2)

• Verbesserung des Sprachverständnisses durch generative Vorausbildung (GPT)

• Erforschung der Grenzen des Transferlernens mit einem einheitlichen Text-zu-Text-Transformator (T5)

• Einheitliches Sprachmodell vor der Ausbildung für das Verständnis und die Erzeugung natürlicher Sprache (UNILM), Neurips 19

  • Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu, Yu Wang, Jianfeng Gao, Ming Zhou, Hsiao-Wuen Hon. Msr

• Textübersicht mit vorbereiteten Encodern. ACL 19

• Unbeaufsichtigt

  • Prajit Ramachandran und Peter J. Liu und Quoc V. Le, Google Brain
  • Die LM -Vorbereitungsidee vor Bert. Wirksam bei MT und Zusammenfassung.

• Masse: Maskierte Sequenz zur Sequenz vor dem Training für die Sprachgenerierung, ICML 19

  • Kaitao Song, Xu Tan, Tao Qin, Jianfeng Lu, Tie-Yan Liu, NJU und MSRA

• Vorausgebildete Sprachmodelldarstellungen für die Sprachgenerierung, NAACl 19

  • Sergey Edunov, Alexei Baevski, Michael Auli, Messe
  • LM Vorab -Feind auf eine unterschiedliche Größe der MT -Daten. Je kleiner, desto mehr Leistungsgewinn.

• Halbüberwachende Sequenzmodellierung mit Cross-View-Training. (CVT) EMNLP 18

  • Kevin Clark, Minh-Thang Luong, Christopher D. Manning, Quoc V. Le
  • Semi-betriebliches Lernen mit Multi-Task-Lernen. MT ist eine Anwendung. Auch Verbesserungen bei anderen Aufgaben

• Wenige Schuss-NLG mit vorgebildetem Sprachmodell

  • Zhiyu Chen, Harini Eavani, Yinyin Liu und William Yang Wang
  • Extreme Few-Shot-Überwachung: 50 Trainingsinstanzen erhalten 26 Bleu

• Cross-Langual Language Model Vorabend, Arxiv 19

  • Guillaume Lampe, Alexis Conneau, fair
  • Anwendung auf die lendende Klassifizierung, unbeaufsichtigte maschinelle Übersetzung, beaufsichtigte maschinelle Übersetzung (Low-Ressourcen), Sprachmodell mit niedrigem Ressourcen

• Bert hat einen Mund, und es muss sprechen: Bert als Markov Random Field Language Model, Arxiv 19

  • Alex Wang, Kyunghyun Cho, NYU
  • Direkt aus Bert, nicht so effektiv.

• Maschinelle Übersetzung konstanter Zeit mit bedingten maskierten Sprachmodellen (Link)

  • Marjan Ghazvininejad, Omer Levy, Yinhan Liu und Luke Zettlemoyer
  • Iterative Decodierung: Erzeugen Sie mit Bert, polieren Sie dann mit Bert und setzen Sie sich dann weiter