Language Model Pretraining for Text Generation

Language-model-pretratrening-for-text-generation

Pretratrenamiento LM para generación, lista de lectura, recursos, mapeos de conferencias.

---

• Representaciones de palabras contextualizadas profundas (ELMO). NAACL 18

  • Me gustan Elmo y Ai2.

• Bert: pretruento de transformadores bidireccionales profundos para la comprensión del lenguaje, NAACL 19

• BART: Pretración previa a la secuencia de secuencia de desaceleración para la generación de lenguaje natural, traducción y comprensión.

  • Sota actual en resumen

• Los modelos de idiomas son alumnos multitarea no supervisados ​​(GPT2)

• Mejora de la comprensión del lenguaje mediante un pretraben generativo (GPT)

• Explorando los límites del aprendizaje de transferencia con un transformador de texto a texto unificado (T5)

• Modelo de lenguaje unificado Precrendimiento para la comprensión y generación del lenguaje natural (UNILM), Neurips 19

  • Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu, Yu Wang, Jianfeng Gao, Ming Zhou, Hsiao-Wuen Hon. MSR

• Resumen del texto con codificadores previos al estado de la aparición. ACL 19

• Pretratenamiento sin supervisión para secuencia a aprendizaje de secuencia, EMNLP 17

  • Prajit Ramachandran y Peter J. Liu y Quoc V. LE, Google Brain
  • La idea de pre -proyección de LM, antes de Bert. Efectivo en MT y resumen.

• Mass: secuencia enmascarada a la secuencia previa al entrenamiento para la generación de idiomas, ICML 19

  • Kaitao Song, Xu Tan, Tao Qin, Jianfeng Lu, Tie-Yan Liu, NJU y MSRA

• Representaciones de modelos de idiomas previamente capacitados para la generación de idiomas, NAACL 19

  • Sergey Edunov, Alexei Baevski, Michael Auli, Feria
  • LM Pretratrening fino en un tamaño diferente de los datos de MT. Cuanto más pequeño, más ganancia de rendimiento.

• Modelado de secuencia semi-supervisada con entrenamiento de visión transversal. (CVT) EMNLP 18

  • Kevin Clark, Minh-Thang Luong, Christopher D. Manning, Quoc V. Le
  • Aprendizaje semi-supervisado con aprendizaje de varias tareas. MT es una aplicación. También mejoras en otras tareas

• NLG de pocos disparos con modelo de lenguaje previamente capacitado

  • Zhiyu Chen, Harini Eavani, Yinyin Liu y William Yang Wang
  • Supervisión extrema de pocos disparos: 50 instancias de entrenamiento obtienen 26 bleu

• Modelo de lenguaje interlingüal previa al pre-ling-lingny, ARXIV 19

  • Guillaume Lample, Alexis Conneau, Feria
  • Aplicación a la clasificación interlingüística, traducción automática no supervisada, traducción automática supervisada (baja recursos), modelo de idioma de baja recursos

• Bert tiene una boca, y debe hablar: Bert como modelo de lenguaje de campo aleatorio de Markov, ARXIV 19

  • Alex Wang, Kyunghyun Cho, NYU
  • Muestra directamente de Bert, no tan efectiva.

• Traducción automática de tiempo constante con modelos de lenguaje enmascarado condicional (enlace)

  • Marjan Ghazvininejad, Omer Levy, Yinhan Liu y Luke Zettlemoyer
  • Decodificación iterativa: Genere con Bert, luego pule con Bert, luego continúe con pulido