الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

عنوان

DGMS 4 NLP. نماذج توليدية عميقة لمعالجة اللغة الطبيعية. خريطة الطريق.

ياو فو ، جامعة إدنبرة ، [email protected]

** تحديث **: كيف تحصل GPT على قدرتها؟ تتبع القدرات الناشئة لنماذج اللغة إلى مصادرها

** تحديث **: نظرة فاحصة على القدرات الناشئة على نموذج اللغة

** تحديث **: نماذج لغات كبيرة

** تحديث **: التبعية بعيدة المدى ؛ لماذا S4 جيد في التسلسل الطويل: تذكر تسلسل مع تقريب الوظيفة عبر الإنترنت

** تودو 1 **: المعايرة ؛ المطالبة محولات طويلة المدى. نماذج مساحة الدولة

** TODO 2 **: مصفوفة العامل وتضمين الكلمات ؛ نواة عملية غاوسية

** TODO 3 **: العلاقة بين الاستدلال و RL ؛

مقدمة

مقدمة

(مكتوب في أوائل عام 2019 ، نشأت من ندوة DGM في كولومبيا)

لماذا نريد نماذج توليدية عميقة؟ لأننا نريد أن نتعلم العوامل الأساسية التي تولد اللغة. تحتوي اللغة البشرية على عوامل كامنة غنية ، وقد تكون العاطفة المستمرة هي العاطفة والنية وغيرها ، وقد تكون العوامل المنفصلة/ الهيكلية هي علامات POS/ NER أو أشجار بناء الجملة. كثير منهم كامن كما في معظم الحالات ، نلاحظ الجملة فقط. إنها أيضًا توليدية: يجب أن ينتج الإنسان لغة بناءً على الفكرة العامة ، والعاطفة الحالية ، وبناء الجملة ، وجميع الأشياء الأخرى التي يمكننا أو لا نستطيع تسميتها.

كيف تصمم عملية اللغة التوليدية بطريقة مبدئية إحصائية؟ هل يمكن أن يكون لدينا إطار عمل مرن يسمح لنا بدمج إشارات الإشراف الصريحة عندما يكون لدينا ملصقات ، أو إضافة إشراف بعيدة أو قيود منطقية/ إحصائية عندما لا يكون لدينا علامات ولكن لدينا معرفة مسبقة أخرى ، أو استنتاج كل ما هو أكثر منطقية عندما لا يكون لدينا علامات أو مسبقًا؟ هل من الممكن أن نستغل قوة النمذجة للبنية العصبية المتقدمة بينما لا نزال نكون رياضيًا واحتمالية؟ تسمح لنا DGMS بتحقيق هذه الأهداف.

دعونا نبدأ الرحلة.

التسلسل الزمني

  • 2013: VAE
  • 2014: جان ؛ تسلسل التسلسل. آلية الانتباه
  • 2015: تطبيع التدفق ؛ نماذج دستور
  • 2016: Gumbel-Softmax ؛ نظام الترجمة الآلي العصبي من Google (GNMT)
  • 2017: Transformers ؛ إلمو
  • 2018: بيرت
  • 2019: التحقيق وعلم البيرتيل ؛ GPT2
  • 2020: GPT3 ؛ التعلم التباين تعميم تكوين ؛ نماذج الانتشار
  • 2021: المطالبة ؛ النماذج التوليدية القائمة على النتيجة ؛
  • 2022: نماذج المواصفات الحكومية

جدول المحتوى

خريطة الطريق

  • مقدمة
    • مقدمة
    • التسلسل الزمني
  • جدول المحتوى
  • موارد
    • ندوات DGM
    • دورات
    • كتب
  • الجانب NLP
    • جيل
    • فك التشفير والبحث ، عام
    • فك التشفير المقيد
    • فك التشفير غير العائلي
    • فك تشفير نموذج اللغة المسبق
    • التنبؤ منظم
    • بناء الجملة
    • دلالات
    • تحريض القواعد
    • التكوين
  • ML الجانب
    • أساليب العينة
    • الاستدلال التباين ، السادس
    • فايس
    • إعادة التمييز
    • خانق
    • يتدفق
    • النماذج التوليدية القائمة على النتيجة
    • نماذج الانتشار
  • مواضيع متقدمة
    • البنى العصبية
      • rnns
      • محولات
      • نموذج اللغة ما قبل
      • الشبكة العصبية قابلية التعلم
      • محولات طويلة المدى
      • نماذج المواصفات الحكومية
    • نماذج لغة كبيرة
      • الحلول والأطر لتشغيل نماذج لغة كبيرة
      • قائمة نماذج اللغة الكبيرة
      • قدرات ناشئة
    • تحسين
      • تقدير التدرج
      • الهياكل المنفصلة
    • الاستدلال
      • الاستدلال الفعال
      • التنظيم الخلفي
    • الهندسة
    • التوزيع العشوائي
    • تعميم ثيري
    • التمثيل
      • نظرية المعلومات
      • تفكيك وتفسير
      • الثبات
    • التحليل والنقاد

الاقتباس: 

 @article{yao2019DGM4NLP,
  title   = "Deep Generative Models for Natual Language Processing",
  author  = "Yao Fu",
  year    = "2019",
  url     = "https://github.com/FranxYao/Deep-Generative-Models-for-Natural-Language-Processing"
}

موارد

  • كيفية كتابة الاستدلال المتغير والنماذج التوليدية لـ NLP: وصفة. هذا يقترح بقوة للمبتدئين أوراق كتابة عن VAES لـ NLP.

  • برنامج تعليمي عن نماذج متغيرة كامنة عميقة للغة الطبيعية (LINK) ، EMNLP 18

    • يون كيم ، سام وايزمان وألكساندر م. راش ، هافارد

  • نماذج الهيكل الكامن لـ NLP. رابط تعليمي ACL 2019

    • André Martinns ، Tsvetomila Mihaylova ، Nikita Nangia ، Vlad Niculae.

ندوات DGM

  • كولومبيا ستات 8201 - نماذج توليدية عميقة ، بقلم جون كننغهام

  • Stanford CS 236 - نماذج توليدية عميقة ، بقلم ستيفانو إرمون

  • U TORONTO CS 2541 - الاستدلال والموديلات التوليدية ، CS 2547 تعلم الهياكل الكامنة المنفصلة ، CSC 2547 خريف 2019: تعلم البحث. بقلم ديفيد دوفينو

  • U Toronto Sta 4273 Winter 2021 - تقليل التوقعات. بقلم كريس ماديسون

  • بيركلي CS294-158 - التعلم العميق غير الخاضع للإشراف. بقلم بيتر أبيل

  • كولومبيا STCS 8101 - التعلم التمثيل: منظور احتمالي. بقلم ديفيد بلي

  • Stanford CS324 - نماذج لغة كبيرة. بقلم بيرسي ليانغ ، تاتسونوري هاشيموتو وكريستوفر ري

  • U Toronto CSC2541 - ديناميات التدريب الصافية العصبية. بقلم روجر جروس.

دورات

تم بناء تمويل DGMS على نماذج رسومية احتمالية. لذلك نحن نلقي نظرة على الموارد التالية

  • دورة Blei's Foundation of Prackice Models ، Stat 6701 في كولومبيا (LINK)

    • أساس النمذجة الاحتمالية ، النماذج الرسومية ، والاستدلال التقريبي.

  • النماذج الرسومية المحتملة لـ Xing ، 10-708 في CMU (LINK)

    • مسار ثقيل حقا مع مواد واسعة.
    • 5 وحدات في المجموع: الاستدلال الدقيق ، والاستدلال التقريبي ، و DGMS ، وتعلم التعزيز ، وغير المعلمة.
    • جميع ملاحظات المحاضرة ، وتسجيلات Vedio ، والأعمال المنزلية مفتوحة المصدر.

  • معالجة اللغة الطبيعية لكولينز ، كومز 4995 في كولومبيا (رابط)

    • يتم تقديم العديد من طرق الاستدلال للنماذج المهيكلة. ألق نظرة أيضًا على الملاحظات ذات الصلة من صفحة كولينز الرئيسية
    • أيضا الخروج bilibili

كتب

  • التعرف على الأنماط والتعلم الآلي. كريستوفر م. الأسقف. 2006

    • الكتاب المدرسي الأكثر كلاسيكية
    • يجب أن يكون الجزء الأساسي ، وفقًا لفهمي الخاص ، من هذا الكتاب ، هو القسم 8 - 13 ، وخاصة القسم 10 لأن هذا هو القسم الذي يقدم استنتاجًا تباينًا.

  • التعلم الآلي: منظور احتمالي. كيفن ب. ميرفي. 2012

    • بالمقارنة مع كتاب Prml Bishop ، يمكن استخدام هذا الكتاب ككتيب فائق التفاعل لمختلف النماذج الرسومية وطرق الاستدلال.

  • النماذج الرسومية والأسر الأسية والاستدلال المتغير. 2008

    • مارتن ج. وينرايت ومايكل إ. الأردن

  • التنبؤ الهيكل اللغوي. 2011

    • نوح سميث

  • العملية النحوية. 2000

    • مارك ستيدمان

الجانب NLP

جيل

  • توليد جمل من مساحة مستمرة ، conll 15

    • صموئيل ر. بومان ، لوك فيلنيس ، أوريول فينالس ، أندرو م. داي ، رافال جوزيفوفيتش ، سامي بنجو

  • الاستدلال التباين العصبي لمعالجة النص ، ICML 16

    • Yishu Miao ، Lei Yu ، Phil Blunsom ، DeepMind

  • تعلم القوالب العصبية لتوليد النص. EMNLP 2018

    • سام وايزمان ، ستيوارت م. شيبر ، ألكساندر راش. هافارد

  • نماذج قائمة على الطاقة المتبقية لتوليد النص. ICLR 20

    • Yuntian Deng ، Anton Bakhtin ، Myle Ott ، Arthur Szlam ، Marc 'Aurelio Ranzato. هافارد وعادلة

  • إعادة صياغة الجيل مع كيس الكامنة من الكلمات. Neupips 2019.

    • Yao Fu ، Yansong Feng ، and John P. Cunningham. كولومبيا

فك التشفير والبحث ، عام

  • مكتبة فك تشفير فيرسيك. [جيثب]

  • Controlabel توليد النص العصبي [Lil'log]

  • أفضل البحث الشعاع الأول. TACL 2020

    • كلارا ميستر ، تيم فييرا ، ريان كوتريل

  • حالة غريبة من تنكس النص العصبي. ICLR 2020

    • آري هولتزمان ، جان بايز ، لي دو ، ماكسويل فوربس ، ياجين تشوي

  • مقارنة بين طرق فك التشفير المتنوعة من نماذج اللغة الشرطية. ACL 2019

    • دافني إيبوليتو ، رينو كريز ، ماريا كوستكوفا ، جوا أوي سيدوك ، كريس كاليسون-بورش

  • الحزم العشوائية وأين يمكن العثور عليها: خدعة Gumbel-Top-K لأخذ أخذ العينات دون استبدال. ICML 19

    • Wouter Kool ، Herke Van Hoof ، Max Welling

  • شرطية البحث عن شعاع بويسون العشوائي. EMNLP 2021

    • كلارا ميستر ، أفرا أميني ، تيم فييرا ، ريان كوتريل

  • فك تشفير النطاق الضخم لتوليد النص باستخدام الشبكات. 2021

    • جيشنغ شو وجريج دوريت

فك التشفير المقيد

  • فك التشفير المعجم لتوليد التسلسل باستخدام بحث شعاع الشبكة. ACL 2017

    • كريس هوكامب ، Qun Liu

  • تفكك سريع التقيد مع المعجم مع تخصيص الحزمة الديناميكية للترجمة الآلية العصبية. NAACL 2018

    • مات بوست ، ديفيد فيلار

  • تحسن فك التشفير المعجم للترجمة وإعادة كتابة أحادي اللغة. NAACL 2019

    • J. Edward Hu ، Huda Khayrallah ، Ryan Culkin ، Patrick Xia ، Tongfei Chen ، Matt Post ، Benjamin Van Durme

  • نحو فك التشفير كتحسين مستمر في الترجمة الآلية العصبية. EMNLP 2017

    • Cong Duy Vu Hoang ، Gholamreza Haffari و Trevor Cohn.

  • توليد نص محظور معجمي بتوجيه غير إشرافي. EMNLP 2020

    • لي شا

  • توليد النص المتحكم فيه كتحسين مستمر مع قيود متعددة. 2021

    • ساشين كومار ، إريك مالمي ، علياكسي سيفيني ، يوليا تسفيتكوف

  • فك التشفير العصبي: (الأمم المتحدة) خاضع للإشراف على توليد النص العصبي مع قيود المنطق المسند. NAACL 2021

    • Ximing Lu ، Peter West ، Rowan Zellers ، Ronan Le Bras ، Chandra Bhagavatula ، Yejin Choi

  • فك التشفير العصبي A*esque: توليد نص مقيد مع استدلال Lookahead. 2021

    • Ximing Lu ، Sean Welleck ، Peter West ، Liwei Jiang ، Jungo Kasai ، Daniel Khashabi ، Ronan Le Bras ، Lianhui Qin ، Youngjae Yu ، Rowan Zellers ، Noah A. Smith ، Yejin Choi

  • فك تشفير البرد: توليد النص المقيد على الطاقة مع ديناميات Langevin. 2022

    • ليانهوي تشين ، شون ويلك ، دانييل خاشابي ، ياجين تشوي

فك التشفير غير العائلي

ملاحظة: لم أتجاوز هذا الفصل تمامًا ، من فضلك أعطني اقتراحات!

  • ترجمة الآلة العصبية غير العائلية. ICLR 2018

    • Jiatao Gu ، James Bradbury ، Caiming Xiong ، Victor Ok Li ، Richard Socher

  • الترجمة الآلية العصبية غير التابعة للكسر: حيل التجارة.

    • جياتاو غو ، شيانغ كونغ.

  • فك تشفير سريع في نماذج التسلسل باستخدام متغيرات كامنة منفصلة. ICML 2021

    • łukasz Kaiser ، Aurko Roy ، Ashish Vaswani ، Niki Parmar ، Samy Bengio ، Jakob Uszkoreit ، Noam Shazeer

  • توليد النص المتتالي مع محولات ماركوف. Arxiv 20

    • يونتيان دنغ وألكساندر راش

  • محول إلقاء نظرة على الترجمة الآلية العصبية غير العائلية. ACL 2021

    • Lihua Qian ، Hao Zhou ، Yu Bao ، Mingxuan Wang ، Lin Qiu ، Weinan Zhang ، Yong Yu ، Lei Li
    • يتم نشر هذا الآن داخل Bytedance

فك تشفير نموذج اللغة المسبق

تودو: المزيد عن ذلك

  • أوراق سريعة ، thunlp (رابط)

  • CTRL: نموذج لغة محول مشروط لتوليد يمكن التحكم فيه. Arxiv 2019

    • نيتيش شيريش كيسكار ، برايان ماكان ، لاف ر. فارشني ، كايمينغ شيونج ، ريتشارد سوتشر

  • نماذج لغة التوصيل والتشغيل: نهج بسيط لتوليد النصوص المتحكم فيه

    • Sumanth Dathathri ، Andrea Madotto ، Janice Lan ، Jane Hung ، Eric Frank ، Piero Molino ، Jason Yosinski ، Rosanne Liu

التنبؤ منظم

  • بنية الشعلة: مكتبة تنبؤ منظمة عميقة. جيثب ، ورقة ، وثائق

    • ألكساندر م. راش. جامعة كورنيل

  • مقدمة إلى الحقول العشوائية الشرطية. 2012

    • تشارلز سوتون وأندرو ماكالوم.

  • الخوارزميات الداخلية إلى الخارج والخوارزميات الأمامية هي مجرد خلفية. 2016.

    • جيسون أيزنر

  • التعلم مع خسائر fenchel-young. JMLR 2019

    • Mathieu Blondel ، André Ft Martins ، Vlad Niculae

  • شبكات الاهتمام المنظمة. ICLR 2017

    • يون كيم ، كارل دينتون ، لونج هوانغ ، ألكساندر م. راش

  • البرمجة الديناميكية الفاصلة للتنبؤ المنظم والاهتمام. ICML 2018

    • آرثر مينش وماثيو بلوندل.

بناء الجملة

  • قواعد الشبكة العصبية المتكررة. NAACL 16

    • كريس داير ، أديجونا كونكورو ، ميغيل بالستروس ، ونوح سميث.

  • قواعد الشبكة العصبية المتكررة غير الخاضعة للرقابة ، NAACL 19

    • يون كين ، ألكساندر راش ، لي يو ، أديجونا كونكورو ، كريس داير ، وجابور ميليس

  • قابلة للتفاضلت من الحجم والهراوات: تحليل شبه إشراف مع Autoencoder المتغير منظم ، ICLR 19

    • كايو كورو ، إيفان تيتوف ، أدنبرة

دلالات

  • العملية النحوية. 2020

    • مارك ستيدمان

  • اللغوية المستنيرة لتوفير الدور الدلالي. EMNLP 2018 أفضل جائزة الورق

    • إيما ستروبيل ، باتريك فيرجا ، دانيال أنور ، ديفيد فايس وأندرو ماكالوم. Umass Amherst و Google AI Language

  • التحليل الدلالي مع أجهزة الترميز التلقائي المتسلسل شبه الخاضع للإشراف. 2016

    • توماس كوتسكي ، غابور ميليس ، إدوارد غريفينستتيت ، كريس داير ، وانغ لينغ ، فيل بوتسوم ، كارل موريتز هيرمان

تحريض القواعد

  • تحريض القواعد والتعلم غير الخاضع للإشراف ، قائمة الورق. (وصلة)
    • ياو فو

التكوين

  • تعميم تكوين في NLP. قائمة الورق

    • ياو فو

  • التعميم بدون منهجي: على المهارات التكوينية للشبكات المتكررة التسلسل إلى التسلسل. ICML 2019

    • بريندن ليك وماركو باروني

  • تحسين منهجية تقييم النص إلى SQL. ACL 2018

    • كاثرين فايغان-دولاك ، جوناثان ك. كومرفيلد ، لي تشانغ ، كارثيك راماناثان ، سيش ساداسيفام ، روي تشانغ ، دراجمير راديف

ML الجانب

أساليب العينة

  • الاستدلال الاحتمالي باستخدام طرق Markov Monte Carlo. 1993

    • رادفورد م نيل

  • عناصر من مونت كارلو المتسلسل (رابط)

    • كريستيان أ. نيسيث ، فريدريك ليندستن ، توماس ب. شون

  • مقدمة مفاهيمية لهاملتون مونتي كارلو (رابط)

    • مايكل بيتانكورت

  • أخذ عينات المرشح (الرابط)

    • Google TensorFlow Blog

  • التقدير المريح للضوضاء: مبدأ تقدير جديد للنماذج الإحصائية غير الطبيعية. Aistata 2010

    • مايكل غوتمان ، هيفارينين. جامعة هلسنكي

  • * أخذ العينات. NIPS 2014 أفضل جائزة الورق

    • كريس ج. ماديسون ، دانييل تارلو ، توم مينكا. جامعة تورنتو و MSR

الاستدلال التباين ، السادس

  • مجموعة قراءة الاستدلال المتنوعة في كامبريدج (رابط)

    • سام السلطة. جامعة كامبريدج

  • الاستدلال التباين: مراجعة للإحصائيين.

    • David M. Blei ، Alp Kucukelbir ، Jon D. Mcauliffe.

  • الاستدلال المتغير العشوائي

    • ماثيو دي هوفمان ، ديفيد م. بلي ، تشونغ وانغ ، جون بيزلي

  • استنتاج بايزي التباين مع البحث العشوائي. ICML 12

    • جون بيزلي ، ديفيد بلي ، مايكل جوردان. بيركلي وبرينستون

فايس

  • ترميز تلقائي بايز ، ICLR 14

    • Diverik P. Kingma ، Max Welling

  • Beta-VAE: تعلم المفاهيم البصرية الأساسية مع إطار اختلاف مقيد. ICLR 2017

    • إيرينا هيغنز ، لويك ماتي ، أركا بال ، كريستوفر بورغيس ، كزافييه غلوروت ، ماثيو بوتفينيك ، شاكر محمد ، ألكساندر ليرشنر

  • أهمية مرجحة السيارات. ICLR 2015

    • يوري بوردا ، روجر جروس ، روسلان سالاخوتدينوف

  • backpropagation العشوائية والاستدلال التقريبي في النماذج التوليدية العميقة. ICML 14

    • دانيلو جيمينيز ريديندي ، شاكر محمد ، دان ويرسترا
    • إعادة التكرار ث. نماذج غاوسية عميقة.

  • أدوات تلقائية متباينة شبه إبطال ، ICML 18

    • يون كيم ، سام وايزمان ، أندرو سي ميلر ، ديفيد سونتاج ، ألكساندر م. راش ، هافارد

  • أجهزة الترميز التلقائي المنتظمة بشكل خصم ، ICML 18

    • جيك (جونبو) تشاو ، يون كيم ، كيلي تشانغ ، ألكساندر م. راش ، يان ليكون.

إعادة التمييز

المزيد عن إعادة التمييز: لإعادة تجديد الخليط الغوسي ، ومصفوفة التقليب ، وأخذ عينات الرفض (جاما وديريشليت).

  • Backpropagation العشوائي من خلال توزيعات كثافة الخليط ، Arxiv 16

    • أليكس جريفز

  • تدرجات إعادة التثبيت من خلال خوارزميات أخذ عينات رفض القبول. Aistats 2017

    • كريستيان أ. نيسيث ، فرانسيسكو جونيور رويز ، سكوت دبليو ليندرمان ، ديفيد م. بلي

  • تدرجات إعادة التثبيت الضمنية. Neups 2018.

    • مايكل فيغرنوف ، شاكر محمد ، وأندري مينيه

  • إعادة التعبير الفئوي مع Gumbel-Softmax. ICLR 2017

    • إريك يانغ ، شيكسيانغ غو ، بن بول

  • التوزيع الخرساني: الاسترخاء المستمر للمتغيرات العشوائية المنفصلة. ICLR 2017

    • كريس ج. ماديسون ، أندري مينيه ، ويي واي تيه

  • إعادة التثبيط الغاوسي المقلوب: إعادة النظر في Gumbel-Softmax. 2020

    • Andres Potapczynski ، Gabriel Loaiza-Ganem ، John P. Cunningham

  • أخذ عينات من مجموعة فرعية قابلة لإعادة التكرار عن طريق الاسترخاء المستمر. ijcai 2019

    • غنى مايكل شي وستيفانو إيرمون

خانق

  • شبكات الخصومة التوليدية ، NIPS 14

    • إيان ج. غودفيلو ، جان بويجيت أبادي ، مهدي ميرزا ​​، بينج شو ، ديفيد واردي فارلي ، شيرجيل أوزاير ، آرون كورفيل ، يوشوا بنغو

  • نحو الأساليب المبدئية لتدريب شبكات العدوانية ، ICLR 2017

    • مارتن أرجوفسكي وليون بوتو

  • Wasserstein غان

    • مارتن أرجوفسكي ، سومث تشينتالا ، ليون بوتو

  • Infogan: التمثيل القابل للتفسير تعلم عن طريق تعظيم المعلومات الشباك العدائية التوليدية. NIPS 2016

    • شي تشن ، يان دوان ، رين هووثوفوفت ، جون شولمان ، إيليا سوتسكفر ، بيتر أبيليل. UC Berkeley. Openai

  • تعلّم خصودية الاستدلال. ICLR 2017

    • فنسنت دومولين ، إسماعيل بلغازي ، بن بول ، أوليفييه ماستروبيترو ، أليكس لامب ، مارتن أرجوفسكي ، آرون كورفيل

يتدفق

  • النماذج العميقة القائمة على التدفق ، من سجل ليل

  • الاستدلال المتغير مع التدفقات التطبيع ، ICML 15

    • دانيلو جيمينيز رزيندي ، شاكر محمد

  • التعرف على اللغة مع تطبيع التدفقات

    • غراهام نيوبيج ، CMU ، شرائح

  • تحسين الاستدلال المتغير مع تدفق الانحدار الذاتي العكسي

    • Diverik P Kingma ، Tim Salimans ، Rafal Jozefowicz ، XI Chen ، Ilya Sutskever ، Max Welling

  • تقدير الكثافة باستخدام NVP الحقيقي. ICLR 17

    • لوران دينه ، جاسشا سول-ديكشتاين ، سامي بينيو

  • التعلم غير الخاضع للإشراف للبنية النحوية مع التوقعات العصبية المقلوبة. EMNLP 2018

    • Junxian He ، Graham Neubig ، Taylor Berg-Kirkpatrick

  • تدفقات تطبيع كامنة للتسلسلات المنفصلة. ICML 2019.

    • زاكاري م. زيغلر وألكساندر م. راش

  • التدفقات المنفصلة: النماذج التوليدية القابلة للانقلاب للبيانات المنفصلة. 2019

    • داستن تران ، كيون فافا ، كومار كريشنا أغراوال ، لوران دينه ، بن بول

  • FlowSeq: توليد التسلسل الشرطي غير المتسابق مع التدفق التوليدي. EMNLP 2019

    • Xuezhe MA ، Chunting Zhou ، Xian Li ، Graham Neubig ، Eduard Hovy

  • الترجمة الآلية العصبية المتغيرة مع تطبيع التدفقات. ACL 2020

    • هندرا سيتياوان ، ماتياس سبيربر ، أودهاي نالاسامي ، ماتياس بوليك. تفاحة

  • على الجملة التضمينات من نماذج اللغة التي تم تدريبها مسبقًا. EMNLP 2020

    • بوهان لي ، هاو تشو ، جونكسيان هو ، مينغكسوان وانغ ، يمينغ يانغ ، لي لي

النماذج التوليدية القائمة على النتيجة

السنة المالية: تحتاج إلى معرفة كيفية استخدام النماذج التوليدية المستندة إلى النقاط ونماذج الانتشار للتسلسلات المنفصلة

  • النمذجة التوليدية عن طريق تقدير التدرجات لتوزيع البيانات. مدونة 2021

    • أغنية يانغ

  • أوراق النمذجة التوليدية القائمة على النتيجة

    • الباحثون في جامعة أكسفورد

  • النمذجة التوليدية عن طريق تقدير التدرجات لتوزيع البيانات. Neupips 2019

    • Yang Song ، Stefano Ermon

نماذج الانتشار

  • ما هي نماذج الانتشار؟ 2021

    • ليليان ونغ

  • نماذج الانتشار الرائعة

    • هيجون كو

  • التعلم العميق غير الخاضع للإشراف باستخدام الديناميكا الحرارية nonequilibrium. 2015

    • Jascha Sohl-Dickstein ، إريك أ. فايس ، نيرو ماهيسواراناثان ، سوريا جانجولي

  • نماذج الانتشار الاحتمالية. Neupips 2020

    • جوناثان هو ، أجاي جاين ، بيتر أبيليل

  • تدفقات Argmax والانتشار متعدد الحدود: تعلم التوزيعات الفئوية. Neupips 2021

    • إميل هووجبووم ، ديريك نيلسن ، بريانك جيني ، باتريك فوره ، ماكس ويلينج

  • نماذج انتشار منظمة منظمة في مساحات الحالة المنفصلة. Neupips 2021

    • يعقوب أوستن ، دانييل دي جونسون ، جوناثان هو ، دانييل تارلو ، ريان فان دن بيرج

  • نماذج الانتشار التلقائي. ICLR 2022

    • إميل هوجوبوم ، أليكسي أ. غريسينكو ، جاسمين باستينغز ، بن بول ، ريان فان دن بيرج ، تيم سليمانز

  • Diffusion-LM يحسن توليد النص القابل للتحكم. 2022

    • شيانغ ليزا لي ، جون سايكيستون ، إيشان جولراجاني ، بيرسي ليانغ ، تاتسونوري ب.

  • نماذج انتشار النص إلى نص الصور مع فهم اللغة العميقة. 2022

    • شيتوان ساهاريا ، ويليام تشان ، سوراب ساكسينا ، لالا لي ، جاي وانغ ، إميلي دينتون ، سايد كامار سيند غاسيميبور ، بوركو كاراجول آيان ، س.

مواضيع متقدمة

البنى العصبية

rnns

  • الخلايا العصبية المطلوبة: دمج الأشجار المهيكلة في الشبكات العصبية المتكررة

    • Yikang Shen ، Shawn Tan ، Alessandro Sordoni ، Aaron Courville. ميلا ، MSR

  • يمكن لـ RNNs توليد لغات هرمية محدودة مع ذاكرة مثالية

    • جون هيويت ، مايكل هان ، سوريا جانجولي ، بيرسي ليانغ ، كريستوفر مانينغ

محولات

  • تحليل الاهتمام الذاتي متعدد الرأس: يقوم الرؤوس المتخصصة بالرفع الثقيل ، ويمكن تقليم الباقي. ACL 2019

    • إيلينا فويتا ، ديفيد تالبوت ، فيدور مويف ، ريكو سينريتش ، إيفان تيتوف

  • القيود النظرية للاعتداء الذاتي في نماذج التسلسل العصبي. TACL 2019

    • مايكل هان

  • إعادة النظر في الاهتمام مع فناني الأداء. 2020

    • Krzysztof Choromanski ، Valerii Likhosherstov ، David Dohan ، Xingyou Song ، Andreea Gane ، Tamas Sarlos ، Peter Hawkins ، Jared Davis ، Afroz Mohiuddin ، Lukasz Kaiser ، David Belanger ، Lucy Colwell ، Adrian Weller

نموذج اللغة ما قبل

  • Thunlp: قائمة ورق النموذج اللغات المسبق (الرابط)

    • Xiaozhi Wang و Zhengyan Zhang ، جامعة Tsinghua

  • أوراق توموهيد شيباتا ذات الصلة بيرت

الشبكة العصبية قابلية التعلم

  • الشبكة العصبية قابلية التعلم. ياو فو

محولات طويلة المدى

  • الساحة الطويلة المدى: معيار للمحولات الفعالة
    • يي تاي ، موستافا ديهغاني ، سميرا أبينار ، يكانغ شين ، دارا بهري ، فيليب فام ، جينفينغ راو ، ليو يانغ ، سيباستيان رودر ، دونالد ميتزلر

نماذج المواصفات الحكومية

  • Hippo: ذاكرة متكررة مع الإسقاطات متعددة الحدود المثلى. Neupips 2020

    • ألبرت جو ، تري داو ، ستيفانو إيرمون ، أتيري رودرا ، كريستوفر ر.

  • الجمع بين النماذج المتكررة والتلافقية والوقت المستمر مع طبقة مساحة الحالة الخطية. Neupips 2021

    • ألبرت غو ، إيسيز جونسون ، كاران جويل ، خالد ساب ، تري داو ، أتيري رودرا ، كريستوفر ري

  • النمذجة بكفاءة تسلسل طويل مع مساحات الحالة المنظمة. ICLR 2022

    • ألبرت جو ، كاران جويل ، وكريستوفر ري

  • لماذا S4 جيد في التسلسل الطويل: تذكر تسلسل مع تقريب الوظيفة عبر الإنترنت. 2022

    • ياو فو

نماذج لغة كبيرة

الحلول والأطر لتشغيل نماذج لغة كبيرة

  • خدمة OPT-175B باستخدام رابط ALPA (350 جيجابايت من ذاكرة GPU في المجموع)

قائمة نماذج اللغة الكبيرة

  • GPT3 (175B). نماذج اللغة هي متعلمين قليلة. مايو 2020

  • Megatron-Turing NLG (530B). باستخدام Deepeded و Megatron لتدريب Megatron-Turing NLG 530B ، وهو نموذج لغة توليدية واسعة النطاق. يناير 2022

  • لامدا (137 ب). لامدا: نماذج لغة لتطبيقات الحوار. يناير 2022

  • غوفر (280B). نماذج لغة التحجيم: الأساليب والتحليل والرؤى من تدريب Gopher. ديسمبر 2021

  • شينشيلا (70 ب). تدريب النماذج اللغوية الحساسية. مارس 2022

  • النخيل (540 ب). النخيل: نمذجة لغة التحجيم مع المسارات. أبريل 2022

  • OPT (175B). OPT: افتح نماذج لغة المحولات مسبقًا. مايو 2022

  • بلوم (176 ب): نموذج لغة متعددة اللغات مفتوحة العلوم الكبيرة. مايو 2022

  • Blenderbot 3 (175b): وكيل محادثة تم نشره يتعلم باستمرار المشاركة بمسؤولية. أغسطس 2022

قدرات ناشئة

  • تحجيم قوانين لنماذج اللغة العصبية. 2020

    • جاريد كابلان ، سام ماكاندش ، توم هينغان ، توم براون ، بنيامين تشيس ، ريون تشايلد ، سكوت جراي ، أليك رادفورد ، جيفري وو ، داريو أمودي

  • القدرات الناشئة لنماذج اللغة الكبيرة. 2022

    • جيسون وي ، يي تاي ، ريشي بوماساني ، كولين رافيل ، باريت زوف ، سيباستيان بورجيود ، داني يوجاتاما ، مارتن بوسما ، ديني تشو ، دونالد ميتزلر ، إد هـ. تشي ، تاتسونوري هاشيموتو ، أوريول فينالس ، بيرسي ليانج ، جيف ديان.

تحسين

تقدير التدرج

  • تقليل التوقعات. كريس ماديسون

  • تقدير تدرج Monte Carlo في التعلم الآلي

    • شاكير محمد ، ميهلا روسكا ، مايكل فيغرنوف ، أندري مينيه. DeepMind

  • الاستدلال المتغير لأهداف مونت كارلو. ICML 16

    • Andriy Mnih ، Danilo J. Rezende. DeepMind

  • حديد التسليح: تقديرات التدرج المنخفض ، غير المتحيز للنماذج المتغيرة الكامنة المنفصلة. NIPS 17

    • جورج تاكر ، أندري مينيه ، كريس ج. ماديسون ، ديتيريتش لوسون ، جاشا سول-ديكشتاين. جوجل الدماغ ، ديب ميند ، أكسفورد

  • backpropagation من خلال الفراغ: تحسين متغيرات التحكم لتقدير التدرج السوداء. ICLR 18

    • Will Grathwohl ، Dami Choi ، Yuhuai Wu ، Geoffrey Roeder ، David Duvenaud. يو تورنتو ومعهد المتجهات

  • backpropaging من خلال Argmax المهيكلة باستخدام حنفية. ACL 2018 أفضل ورقة ذكر مشرف.

    • هاو بينغ وسام طومسون ونوح سميث

  • فهم ميكانيكا الحنفية: التدرجات البديلة للتعلم الهيكل الكامن. EMNLP 2020

    • Tsvetomila mihaylova ، فلاد نيكولا ، وأندريه martins

الهياكل المنفصلة

  • التعلم مع مُحسّنات مضطربة. Neupips 2020

    • كوينتين بيرثيت ، ماثيو بلوندل ، أوليفييه تبول ، وماركو كوتوري ، وجان فيليب فيرت ، فرانسيس باخ

  • تقدير التدرج مع الحيل العشوائية softmax. Neupips 2020

    • ماكس ب. بولس ، دامي تشوي ، دانييل تارلو ، أندرياس كراوس ، كريس ج. ماديسون.

  • البرمجة الديناميكية الفاصلة للتنبؤ المنظم والاهتمام. ICML 18

    • آرثر مينش ، ماثيو بلوندل. INRIA PARIETAL و NTT LABORATORIES

  • التحسين العشوائي لشبكات الفرز عبر الاسترخاء المستمر

    • أديتيا جروفر ، إريك وانغ ، آرون زويغ ، ستيفانو إرمون

  • صفوف قابلة للتمييز وفرز باستخدام النقل الأمثل

    • Guy Lorberbom و Andreea Gane و Tommi Jaakkola و Tamir Hazan

  • إعادة صياغة birkhoff polytope لاستنتاج التقليب التباين. Aistats 2018

    • Scott W. Linderman ، Gonzalo E. Mena ، Hal Cooper ، Liam Paninski ، John P. Cunningham.

  • إطار منظم للاهتمام العصبي المتفرق ومنظم. Neupips 2017

  • sparsemap: استدلال منظم متناثر. ICML 2018

الاستدلال

  • موضوعات في الاستدلال المتقدم. Yingzhen لي. (وصلة)

الاستدلال الفعال

  • التداخل المسمى الاعتراف بالكيان مع treecrfs المراقبة جزئيا. AAAI 2021

    • Yao Fu ، Chuanqi Tan ، Mosha Chen ، Songfang Huang ، Fei Huang

  • التدرجات العشوائية Rao-Blackwellized للتوزيعات المنفصلة. ICML 2019.

    • Runjing Liu ، Jeffrey Regier ، Nilesh Tripuraneni ، Michael I. Jordan ، Jon McAuliffe

  • تهميش فعال للمتغيرات الكامنة المنفصلة والمهيكلة عن طريق التباين. Neupips 2020

    • Gonçalo M. Correia ، Vlad Niculae ، Wilker Aziz ، André FT Martins

التنظيم الخلفي

  • التنظيم الخلفي للنماذج المتغيرة الكامنة المنظمة. JMLR 2010

    • Kuzman Ganchev ، João Graça ، Jennifer Gillenwater ، Ben Taskar.

  • السيطرة الخلفية لتوليد blackbox. 2019

    • شيانغ ليزا لي وألكساندر م. راش.

  • تحريض القواعد النحوية مع محلل قائم على الانتقال العصبي. AAAI 2019

    • Bowen Li ، Jianpeng Cheng ، Yang Liu ، Frank Keller

الهندسة

  • (باللغة الصينية) 微分几何与拓扑学简明教程

    • 米先珂 ， 福明珂

  • يجب أن يتعلم بايز فقط مشعبًا (حول تقدير بنية هندسية تفاضلية من البيانات). Arxiv 2018

    • سورين هاوبرغ

  • هندسة ريمانيان للنماذج التوليدية العميقة. CVPRW 2018

    • Hang Shao ، Abhishek Kumar ، P. Thomas Fletcher

  • هندسة نماذج الصور التوليدية العميقة وتطبيقاتها. ICLR 2021

    • Binxu Wang و Carlos R. Ponce

  • مقاييس النماذج التوليدية العميقة. Aistats 2017

    • نوتان تشن ، أليكسي كلوشين ، ريتشارد كورل ، Xueyan Jiang ، جوستين باير ، باتريك فان دير سامت

  • خوارزميات من الدرجة الأولى لتحسين min-max في المساحات المترية الجيوديسية. 2022

    • Michael I. Jordan ، Tianyi Lin ، Emmanouil V. Vlatakis-Gkaragkounis

التوزيع العشوائي

  • ميزات عشوائية لآلات النواة واسعة النطاق. Neupips 2007

    • علي راهيمي ، بنيامين ريشت

  • العثور على بنية مع العشوائية: خوارزميات احتمالية لبناء تحلل مصفوفة تقريبية. سيام 2011

    • ناثان هالكو ، لكل اسم مارتينسون ، جويل أ. تروبب

  • تحسين كفاءة للحلقات والحدود مع مبالغ التلسكوب العشوائية. ICML 2019

    • أليكس بيوتسون ، ريان بي آدمز

  • تقدير نسبة كثافة التلسكوب. Neupips 2020

    • بنيامين رودس ، كاي شو ، مايكل يو جوتمان

  • عمليات غاوسية قابلة للتطوير خالية من التحيز عبر اقتطاعات عشوائية. ICML 2021

    • Andres Potapczynski ، Luhuan Wu ، Dan Biderman ، Geoff Pleiss ، John P Cunningham

  • تمايز تلقائي عشوائي. ICLR 2021

    • دنيز أوكتاي ، نيك ماكجريفي ، جوشوا أدوول ، أليكس بيوتسون ، ريان ب. آدمز

  • تحجيم الاستدلال المنظم مع التوزيع العشوائي. 2021

    • ياو فو ، جون كننغهام ، ميريلا لاباتا

تعميم ثيري

  • CS229T. نظرية التعلم الإحصائية. 2016
    • بيرسي ليانغ

التمثيل

نظرية المعلومات

  • عناصر نظرية المعلومات. تغطية وتوماس. 1991

  • على حدود التباين للمعلومات المتبادلة. ICML 2019

    • بن بول ، شيريل أوزاير ، آرون فان دن أوورد ، ألكساندر أ. أليمي ، جورج تاكر
    • مناقشة شاملة لجميع هذه الحدود المتغيرة MI

  • تعلم تمثيلات عميقة من خلال تقدير المعلومات المتبادلة وتعظيمها. ICLR 2019

    • R Devon Hjelm ، Alex Fedorov ، Samuel Lavoie-Markildon ، Karan Grewal ، Phil Bachman ، Adam Trischler ، and Yoshua Bengio
    • مقارنة مفصلة بين مقدري MI المختلفة ، القسم 3.2.

  • منجم: المعلومات المتبادلة التقدير العصبي

    • R Devon Hjelm ، Alex Fedorov ، Samuel Lavoie-Marchildon ، Karan Grewal ، Phil Bachman ، Adam Trischler ، Yoshua Bengio

  • معلومات التباين العميقة عنق الزجاجة. ICLR 2017

    • ألكساندر أ. أليمي ، إيان فيشر ، جوشوا ف. ديلون ، كيفن ميرفي. بحث جوجل

تفكيك وتفسير

  • تحديد نماذج خليط بايزي

    • مايكل بيتانكورت

  • disentangling disentanglement في أدوات التوقيت المتنوع. ICML 2019

    • Emile Mathieu ، Tom Rainforth ، N. Siddharth ، Yee Whye Teh

  • تحدي الافتراضات المشتركة في التعلم غير الخاضع للإشراف للتمثيلات غير المنفصلة. ICML 2019

    • Francesco Locatello ، Stefan Bauer ، Mario Lucic ، Gunnar Rätsch ، Sylvain Gelly ، Bernhard Schölkopf ، Olivier Bachem

الثبات

  • ظهور الثبات والتفكيك في التمثيلات العميقة

    • أليساندرو أخيلو وستيفانو ساتو. UCLA. JMLR 2018

  • تقليل المخاطر الثابت

    • مارتن أرجوفسكي ، ليون بوتو ، إيشان جولراجاني ، ديفيد لوبيز باز. 2019.

التحليل والنقاد

  • إصلاح إلبو المكسور. ICML 2018.

    • ألكساندر أ. أليمي ، بن بول ، إيان فيشر ، جوشوا ف. ديلون ، ريف أ. سوروس ، كيفن ميرفي

  • الحدود المتنوعة الأكثر إحكاما ليست بالضرورة أفضل. ICML 2018

    • توم رينفورث ، آدم ر. كوسيوريك ، توان آنه لو ، كريس ج. ماديسون ، ماكسيميليان إيجل ، فرانك وود ، يي واي تاه

  • Bernoulli المستمر: إصلاح خطأ منتشرة في أجهزة الترميز التلقائي المتغير. Neupips 2019

    • غابرييل لايزا جانم وجون ب. كننغهام. كولومبيا.

  • هل تعرف النماذج التوليدية العميقة ماذا لا يعرفون؟ ICLR 2019

    • إريك ناليسنيك ، أكهيرو ماتسوكاوا ، يي واي تيه ، ديلان جورور ، بالاجي لاكشمينارايانان

  • تقدير فعال لنماذج اللغة التوليدية العميقة. ACL 2020

    • توم بيلسمير وويليكر عزيز. جامعة أدنبرة وجامعة أمستردام

  • ما مدى جودة خلفي بايز في الشبكات العصبية العميقة حقًا؟ ICML 2020

    • فلوريان وينزيل ، كيفن روث ، باستيان س. فيلينج ، جاكوب أويتكوفسكي ، لينه تران ، ستيفان ماندت ، جاسبر سنيك ، تيم ساليمانز ، رودولف جيناتون ، سيباستيان نوفوزين

  • نظرية إحصائية للخلايا الخلفية الباردة في الشبكات العصبية العميقة. ICLR 2021

    • لورانس ايتشسون

  • قيود النماذج التلقائية وبدائلها. NAACL 2021

    • Chu-Cheng Lin ، Aaron Jaech ، Xin Li ، Matthew R. Gormley ، Jason Eisner
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل