Language Model Pretraining for Text Generation

Языковая модель, представленная для генерации текста

Предварительная подготовка LM для поколения, список чтения, ресурсы, сопоставления конференций.

---

• Глубокие контекстуализированные представления слов (ELMO). NAACL 18

  • Я просто люблю Эльмо ​​и AI2.

• Берт: предварительное обучение глубоких двунаправленных трансформаторов для понимания языка, NAACL 19

• BART: дженочная последовательность к последовательности предварительной тренировки для генерации, перевода и понимания естественного языка.

  • Текущий SOTA при суммировании

• Языковые модели - это неконтролируемые многозадачные ученики (GPT2)

• Улучшение понимания языка путем генеративного предварительного обучения (GPT)

• Изучение пределов обучения передачи с помощью унифицированного трансформатора текста в текст (T5)

• Unified Language Model перед тренировкой для понимания естественного языка и поколения (Unilm), Neurips 19

  • Ли Донг, Нан Ян, Венхуй Ванг, Фуру Вэй, Сяодон Лю, Ю Ван, Цзянфенг Гао, Мин Чжоу, Сяо-Вуэн Хон. Мср

• Текстовое обобщение с предварительно проведенными кодерами. ACL 19

• Неконтролируемое предварительное подготовку для последовательности к изучению последовательности, EMNLP 17

  • Prajit Ramachandran и Peter J. Liu и Quoc V. Le, Google Brain
  • Предварительная идея LM, до Берта. Эффективно на MT и суммировании.

• Масса: маскированная последовательность для предварительной тренировки последовательности для генерации языка, ICML 19

  • Kaitao Song, Xu Tan, Tao Qin, Jianfeng Lu, Tie-Yan Liu, NJU и MSRA

• Предварительно обученные языковые модели представления для генерации языка, NAACL 19

  • Сергей Эдунов, Алексей Баевски, Майкл Аули, Ярмарка
  • LM Предварительная подготовка тонко настроена на различный размер данных MT. Чем меньше, тем больше прироста производительности.

• Полупроницаемое моделирование последовательности с обучением по перекрестному просмотру. (CVT) EMNLP 18

  • Кевин Кларк, Мин-Танга Луонг, Кристофер Д. Мэннинг, Quoc V. le
  • Полубегаемое обучение с помощью многозадачного обучения. MT - одно приложение. Также улучшения в других задачах

• Несколько выстрелов NLG с предварительно обученной языковой моделью

  • Чжию Чен, Харини Иавани, Йиньин Лю и Уильям Ян Ванг
  • Чрезвычайно несколько выстрелов: 50 тренировочных экземпляров Получите 26 Bleu

• Крестовая языковая модель предварительная подготовка, arxiv 19

  • Гийом Лэмпл, Алексис Конно, ярмарка
  • Применение к межсочевой классификации, неконтролируемому машинному переводу, контролируемому машинному переводу (с низким ресурсом), модель языка с низким ресурсом

• У Берта есть рот, и он должен говорить: Берт как модель случайного полевого языка Маркова, Arxiv 19

  • Алекс Ван, Kyunghyun Cho, NYU
  • Непосредственно образец от Bert, не такой эффективный.

• Постоянный перевод машины с условными моделями языка в масках (ссылка)

  • Марджан Газвининежад, Омер Леви, Иньхан Лю и Люк Зеттлемойер
  • Итеративное декодирование: генерировать с помощью Bert, затем полировать с Bert, затем продолжить польский