Language Model Pretraining for Text Generation

Le modèle de langue prétraitement pour la génération de texte

LM Pre-Triping pour la génération, la liste de lecture, les ressources, les mappages de conférences.

---

• Représentations de mots contextualisés profonds (ELMO). NAACL 18

  • J'aime juste Elmo et Ai2.

• Bert: pré-formation des transformateurs bidirectionnels profonds pour la compréhension du langage, NAACL 19

• BART: Pré-formation de séquence à séquence à la séquence pour la génération, la traduction et la compréhension du langage naturel.

  • Sota actuel sur le résumé

• Les modèles de langue sont des apprenants multitâches non surveillés (GPT2)

• Améliorer la compréhension des langues par la pré-formation générative (GPT)

• Exploration des limites de l'apprentissage du transfert avec un transformateur de texte à texte unifié (T5)

• Pré-formation du modèle de langue unifiée pour la compréhension et la génération du langage naturel (UNILM), les Neirips 19

  • Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu, Yu Wang, Jianfeng Gao, Ming Zhou, Hsiao-Wuen Hon. MSR

• Résumé du texte avec des encodeurs pré-étendus. ACL 19

• Pré-trépassage non supervisé pour l'apprentissage des séquences à la séquence, EMNLP 17

  • Prajit Ramachandran et Peter J. Liu et Quoc V. Le, Google Brain
  • L'idée de pré-formation de LM, avant Bert. Efficace sur MT et résumé.

• Messe: séquence masquée à la séquence pré-formation pour la génération de langue, ICML 19

  • Kaitao Song, Xu Tan, Tao Qin, Jianfeng Lu, Tie-Yan Liu, NJU et MSRA

• Représentations du modèle de langue pré-formé pour la génération de la langue, NAACL 19

  • Sergey Edunov, Alexei Baevski, Michael Auli, Foire
  • LM Pre-Triping Fine a réglé sur différentes taille des données MT. Plus le gain de performance est petit.

• Modélisation de séquences semi-supervisées avec formation à vue croisée. (CVT) EMNLP 18

  • Kevin Clark, Minh-Thang Luong, Christopher D. Manning, Quoc V. Le
  • Apprentissage semi-supervisé avec apprentissage multi-tâches. MT est une application. Amélioration également des autres tâches

• NLG à quelques coups avec modèle de langue pré-formée

  • Zhiyu Chen, Harini Eavani, Yinyin Liu et William Yang Wang
  • Supervision extrême à quelques coups: 50 instances de formation obtiennent 26 BLEU

• Modèle de langage inter-greffe Pre-Trafaining, Arxiv 19

  • Guillaume Lample, Alexis Conneau, Fair
  • Application à la classification interlinguée, traduction machine non supervisée, traduction machine supervisée (modèle de langue à faible ressource)

• Bert a une bouche, et il doit parler: Bert en tant que modèle de langue aléatoire de Markov, Arxiv 19

  • Alex Wang, Kyunghyun Cho, NYU
  • Échantillonnant directement à partir de Bert, pas aussi efficace.

• Traduction machine à temps constant avec des modèles de langage masqué conditionnel (lien)

  • Marjan Ghazvininejad, Omer Levy, Yinhan Liu et Luke Zettlemoyer
  • Décodage itératif: Générez avec Bert, puis polis avec Bert, puis continuez à polir