Language Model Pretraining for Text Generation

Geração de idioma-model-pretendendo-se-text-text

LM pré -treinamento para geração, lista de leitura, recursos, mapeamentos de conferências.

---

• Representações de palavras contextualizadas profundas (ELMO). Naacl 18

  • Eu gosto de Elmo e AI2.

• Bert: pré-treinamento de transformadores bidirecionais profundos para o entendimento da linguagem, Naacl 19

• BART: O pré-treinamento de sequência a sequência de denoising para geração de linguagem natural, tradução e compreensão.

  • SOTA atual em resumo

• Modelos de idiomas são aprendizes multitarefa não supervisionados (GPT2)

• Melhorando a compreensão da linguagem por pré-treinamento generativo (GPT)

• Explorando os limites do aprendizado de transferência com um transformador de texto em texto unificado (T5)

• Modelo de linguagem unificada Pré-treinamento para compreensão e geração de linguagem natural (Unilm), Neurips 19

  • Li Dong, Nan Yang, Wenhui Wang, Furu Wei, Xiaodong Liu, Yu Wang, Jianfeng Gao, Ming Zhou, Hsiao-Wuen Hon. Msr

• Resumo do texto com codificadores pré -treinados. ACL 19

• Pré -treinamento não supervisionado para a sequência de seqüência de aprendizado, emnlp 17

  • Prajit Ramachandran e Peter J. Liu e Quoc V. Le, Google Brain
  • A idéia de pré -treinamento de LM, antes de Bert. Eficaz no MT e no resumo.

• Missa: Sequência mascarada para sequenciar pré-treinamento para geração de idiomas, ICML 19

  • Kaitao Song, Xu Tan, Tao Qin, Jianfeng Lu, Tie-Yan Liu, Nju e MSRA

• Representações de modelo de idioma pré-treinado para geração de idiomas, NAACL 19

  • Sergey Edunov, Alexei Baevski, Michael Auli, Fair
  • LM Pré -Trelaining Fine Tuned em tamanho diferente dos dados MT. Quanto menor, mais ganho de desempenho.

• Modelagem de sequência semi-supervisionada com treinamento de visão cruzada. (CVT) EMNLP 18

  • Kevin Clark, Minh-Thang Luong, Christopher D. Manning, Quoc V. Le
  • Aprendizagem semi-supervisionada com aprendizado de várias tarefas. MT é um aplicativo. Também melhorias em outras tarefas

• Feia NLG com modelo de idioma pré-treinado

  • Zhiyu Chen, Harini Eavani, Yinyin Liu e William Yang Wang
  • Supervisão extrema de poucos tiro: 50 instâncias de treinamento Get 26 Bleu

• Modelo de idioma transversal pré-treinamento, arxiv 19

  • Guillaume Lample, Alexis Conneau, feira
  • Aplicação à classificação transversal, tradução para a máquina não supervisionada, tradução de máquinas supervisionada (baixa resistência), modelo de linguagem de baixo recurso

• Bert tem uma boca, e deve falar: Bert como um modelo de linguagem de campo aleatório de Markov, arxiv 19

  • Alex Wang, Kyunghyun Cho, NYU
  • Amostra diretamente de Bert, não tão eficaz.

• Tradução de máquina em tempo constante com modelos de linguagem mascarada condicional (link)

  • Marjan Ghazvininejad, Omer Levy, Yinhan Liu e Luke Zettlemoyer
  • Decodificação iterativa: gerar com Bert, depois polir com Bert, depois continue polonês