النموذج اللغوي الذي يدور حول الجيل النصي
LM PRETREING للجيل ، قائمة القراءة ، الموارد ، تعيينات المؤتمر.

تمثيلات الكلمات العميقة السياقية (Elmo). NAACL 18
بيرت: ما قبل التدريب من محولات ثنائية الاتجاه العميقة لفهم اللغة ، NAACL 19
بارت: تقليل التسلسل إلى التسلسل قبل التدريب لتوليد اللغة الطبيعية والترجمة والفهم.
نماذج اللغة متعلمين في المهام المتعددة غير الخاضعة للرقابة (GPT2)
تحسين فهم اللغة من خلال التدريب قبل التدريب (GPT)
استكشاف حدود التعلم النقل مع محول نص إلى نص موحد (T5)
نموذج اللغة الموحدة قبل التدريب لفهم اللغة الطبيعية وتوليدها (UNILM) ، Neupips 19
- Li Dong ، Nan Yang ، Wenhui Wang ، Furu Wei ، Xiaodong Liu ، Yu Wang ، Jianfeng Gao ، Ming Zhou ، Hsiao-Wuen Hon. MSR
تلخيص النص مع ترميزات ما قبل. ACL 19
ما قبل الإشراف على التسلسل للتسلسل ، EMNLP 17
- براجيت راماشاندران وبيتر ج. ليو وكوك ف. لو ، جوجل الدماغ
- فكرة LM قبل أن بيرت. فعالة على MT والتلخيص.
الكتلة: تسلسل ملثمين للتسلسل قبل التدريب لتوليد اللغة ، ICML 19
- Kaitao Song ، Xu Tan ، Tao Qin ، Jianfeng Lu ، Tie-Yan Liu ، NJU و MSRA
تمثيل نموذج اللغة قبل التدريب لتوليد اللغة ، NAACL 19
- سيرجي إدوونوف ، أليكسي بيفسكي ، مايكل أولي ، معرض
- LM PRERINING تم ضبطها على حجم مختلف من بيانات MT. كلما زاد عدد الأداء.
نمذجة تسلسل شبه خاضعة للإشراف مع التدريب عبر العرض. (CVT) EMNLP 18
- Kevin Clark ، Minh-Thang Luong ، Christopher D. Manning ، Quoc V. Le
- التعلم شبه الخاضع للإشراف مع التعلم متعدد المهام. MT هو تطبيق واحد. أيضا تحسينات على المهام الأخرى
طلقة قليلة NLG مع نموذج اللغة المسبق مسبقًا
- Zhiyu Chen ، Harini Eavani ، Yinyin Liu ، و William Yang Wang
- إشراف قليلة قليلة: 50 حالة تدريب تحصل على 26 Bleu
نموذج اللغة عبر اللغات ، ما قبل الإدراك ، Arxiv 19
- Guillaume Lample ، Alexis Conneau ، Fair
- طلب للتصنيف عبر اللغات ، والترجمة الآلية غير الخاضعة للرقابة ، والترجمة الآلية الخاضعة للإشراف (الموارد المنخفضة) ، ونموذج اللغة منخفضة الموارد
بيرت لديه فم ، ويجب أن يتكلم: بيرت كنموذج لغة ماركوف عشوائي مجال ، Arxiv 19
- أليكس وانغ ، كيونغايون تشو ، جامعة نيويورك
- عينة مباشرة من بيرت ، ليست فعالة.
الترجمة الآلية في الوقت المستمر مع نماذج اللغة المقنعة الشرطية (رابط)
- مارجان غزفينجاد ، عمر ليفي ، يينهان ليو ولوك زيتلمويير
- فك التشفير التكراري: توليد مع بيرت ، ثم تلميع مع بيرت ، ثم تابع البولندية