الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

الديباجة

يحتوي هذا المستودع على شرائح المحاضرة ووصف الدورة لدورة معالجة اللغة الطبيعية العميقة المقدمة في مصطلح هيلاري 2017 في جامعة أكسفورد.

هذا دورة متقدمة حول معالجة اللغة الطبيعية. تعد معالجة مدخلات اللغة الطبيعية تلقائيًا وإنتاج مخرجات اللغة عنصرًا رئيسيًا في الذكاء العام الاصطناعي. إن الغموض والضوضاء المتأصلة في التواصل البشري تجعل تقنيات الذكاء الاصطناعى التقليدية غير الفعالة لتمثيل وتحليل بيانات اللغة. لقد حققت التقنيات الإحصائية مؤخرًا القائمة على الشبكات العصبية عددًا من النجاحات الرائعة في معالجة اللغة الطبيعية التي تؤدي إلى قدر كبير من الاهتمام التجاري والأكاديمي في هذا المجال

هذا هو الدورة التطبيقية التي تركز على التطورات الحديثة في تحليل وتوليد الكلام والنص باستخدام الشبكات العصبية المتكررة. نقدم التعريفات الرياضية لنماذج التعلم الآلي ذات الصلة ونشتق خوارزميات التحسين المرتبطة بها. تغطي الدورة التدريبية مجموعة من تطبيقات الشبكات العصبية في NLP بما في ذلك تحليل الأبعاد الكامنة في النص ، ونسخ الكلام إلى النص ، والترجمة بين اللغات ، والإجابة على الأسئلة. يتم تنظيم هذه المواضيع في ثلاثة موضوعات عالية المستوى تشكل تقدمًا من فهم استخدام الشبكات العصبية لنمذجة اللغة المتسلسلة ، لفهم استخدامها كنماذج لغوية مشروطة لمهام التحويل ، وأخيراً إلى استخدام هذه التقنيات مع آليات أخرى للتطبيقات المتقدمة. خلال الدورة ، تمت مناقشة التنفيذ العملي لمثل هذه النماذج على أجهزة وحدة المعالجة المركزية و GPU.

يتم تنظيم هذه الدورة من قبل Phil Blunsom وتم تسليمها بالشراكة مع مجموعة DeepMind Natural Language Group.

المحاضرين

  • Phil Blunsom (جامعة أكسفورد و DeepMind)
  • كريس داير (جامعة كارنيجي ميلون و DeepMind)
  • إدوارد جرينستتيت (DeepMind)
  • كارل موريتز هيرمان (DeepMind)
  • أندرو كبار (DeepMind)
  • وانغ لينغ (DeepMind)
  • جيريمي أبليارد (نفيديا)

تاس

  • يانيس أسيل
  • ييشو مياو
  • بريندان شيلينغفورد
  • يان يشتري

الجدول الزمني

العمليات

  • المجموعة 1-الاثنين ، 9: 00-11: 00 (أسابيع 2-8) ، 60.05 مبنى ثوم
  • المجموعة 2-الجمعة ، 16: 00-18: 00 (أسابيع 2-8) ، الغرفة 379
  1. عملي 1: Word2Vec
  2. عملي 2: تصنيف النص
  3. عملي 3: الشبكات العصبية المتكررة لتصنيف النص ونمذجة اللغة
  4. عملي 4: مفتوح عملي

محاضرات

تقام المحاضرات العامة في مسرح المحاضرات 1 من معهد الرياضيات ، يومي الثلاثاء والخميس (باستثناء الأسبوع 8) ، 16: 00-18: 00 (Hilary Term Weeks 1،3-8).

مواد المحاضرة

1. محاضرة 1A - مقدمة [Phil Blunsom]

تقدم هذه المحاضرة الدورة وتحفز لماذا من المثير للاهتمام دراسة معالجة اللغة باستخدام تقنيات التعلم العميق.

[شرائح] [فيديو]

2. المحاضرة 1 ب - الشبكات العصبية العميقة هي أصدقائنا [وانغ لينغ]

تقوم هذه المحاضرة بمراجعة مفاهيم التعلم الآلي الأساسية التي يجب على الطلاب معرفتها قبل الشروع في هذه الدورة.

[شرائح] [فيديو]

3. محاضرة 2A- دلالات مستوى الكلمة [إد غرينستتيت]

الكلمات هي المعنى الأساسي وحدات تحمل اللغة. تمثيل وتعلم معاني الكلمات هو مهمة أساسية في NLP وفي هذه المحاضرة ، يتم تقديم مفهوم كلمة تضمين كحل عملي وقابل للتطوير.

[شرائح] [فيديو]

قراءة

أساسيات التضمين

  • فيرث ، جون ر. "ملخص النظرية اللغوية ، 1930-1955." (1957): 1-32.
  • كوران ، جيمس ريتشارد. "من التوزيع إلى التشابه الدلالي." (2004).
  • كولوبرت ، رونان ، وآخرون. "معالجة اللغة الطبيعية (تقريبا) من الصفر." مجلة أبحاث التعلم الآلي 12. أغسطس (2011): 2493-2537.
  • ميكولوف ، توماس ، وآخرون. "تمثيلات موزعة للكلمات والعبارات وتكوينها." التقدم في أنظمة معالجة المعلومات العصبية. 2013.

مجموعات البيانات والتصور

  • فينكلشتاين ، ليف ، وآخرون. "وضع البحث في السياق: إعادة النظر في المفهوم." وقائع المؤتمر الدولي العاشر على شبكة الإنترنت العالمية. ACM ، 2001.
  • هيل ، فيليكس ، روي رايشارت ، وآنا كورهونين. "Simlex-999: تقييم النماذج الدلالية مع تقدير التشابه (الأصلي)." اللغويات الحسابية (2016).
  • مااتن ، لورينز فان دير ، وجيفري هينتون. "تصور البيانات باستخدام T-SNE." Journal of Machine Learning Research 9.Nov (2008): 2579-2605.

منشورات المدونة

  • التعلم العميق ، NLP ، والتمثيل ، كريستوفر أولا.
  • تصور أفضل tweeps مع t-sne ، في JavaScript ، Andrej Karpathy.

مزيد من القراءة

  • هيرمان ، كارل موريتز ، وفيل بلونسوم. "نماذج متعددة اللغات للدلالات الموزعة التكوين." Arxiv preprint Arxiv: 1404.4641 (2014).
  • Levy ، Omer ، و Yoav Goldberg. "تضمين الكلمات العصبية كعامل مصفوفة ضمني." التقدم في أنظمة معالجة المعلومات العصبية. 2014.
  • Levy ، Omer ، Yoav Goldberg ، و Ido Dagan. "تحسين التشابه التوزيعي مع الدروس المستفادة من تضمينات الكلمات." معاملات جمعية اللغويات الحاسوبية 3 (2015): 211-225.
  • لينغ ، وانغ ، وآخرون. "اثنين/تعديلات بسيطة جدا من Word2Vec لمشاكل بناء الجملة." hlt-naacl. 2015.

4. محاضرة 2 ب - نظرة عامة على العمليات [كريس داير]

هذه المحاضرة تحفز الجزء العملي من الدورة.

[شرائح] [فيديو]

5. محاضرة 3 - نمذجة اللغة و RNNS الجزء 1 [Phil Blunsom]

نمذجة اللغة مهمة مهمة للاستخدام العملي الكبير في العديد من تطبيقات NLP. تقدم هذه المحاضرة نمذجة اللغة ، بما في ذلك الأساليب التقليدية القائمة على N-Gram والمناهج العصبية المعاصرة. على وجه الخصوص ، يتم تقديم نموذج لغة الشبكة العصبية المتكررة الشائعة (RNN) ووصف خوارزميات التدريب والتقييم الأساسية.

[شرائح] [فيديو]

قراءة

كتاب مدرسي

  • التعلم العميق ، الفصل 10.

المدونات

  • الفعالية غير المعقولة للشبكات العصبية المتكررة ، Andrej Karpathy.
  • الفعالية غير المعقولة لنماذج اللغة على مستوى الشخصية ، YOAV Goldberg.
  • شرح وتوضيح التهيئة المتعامدة للشبكات العصبية المتكررة ، ستيفن ميريتي.

6. محاضرة 4 - نمذجة اللغة و RNNS الجزء 2 [Phil Blunsom]

تستمر هذه المحاضرة من المحاضرة السابقة وتدرس بعض المشكلات التي ينطوي عليها إنتاج تنفيذ فعال لنموذج لغة RNN. يتم وصف مشكلة التدرج المتخفي والانفجار ويتم تقديم الحلول المعمارية ، مثل الذاكرة قصيرة المدى الطويلة (LSTM).

[شرائح] [فيديو]

قراءة

كتاب مدرسي

  • التعلم العميق ، الفصل 10.

تدرجات التلاشي ، LSTMS وما إلى ذلك

  • على صعوبة تدريب الشبكات العصبية المتكررة. Pascanu et al. ، ICML 2013.
  • ذاكرة طويلة الأجل طويلة. Hochreiter و Schmidhuber ، الحساب العصبي 1997.
  • تمثيل عبارة التعلم باستخدام RNN EncoderDecoder للترجمة الآلية الإحصائية. Cho et al ، EMNLP 2014.
  • المدونة: فهم شبكات LSTM ، كريستوفر أولا.

التعامل مع المفردات الكبيرة

  • نموذج اللغة الهرمي القابل للتطوير. Mnih و Hinton ، Nips 2009.
  • خوارزمية سريعة وبسيطة لتدريب نماذج اللغة الاحتمالية العصبية. Mnih و Teh ، ICML 2012.
  • على استخدام المفردات المستهدفة الكبيرة جدًا للترجمة الآلية العصبية. جان وآخرون ، ACL 2015.
  • استكشاف حدود نمذجة اللغة. Jozefowicz et al. ، Arxiv 2016.
  • تقريب softmax فعال ل GPU. Grave et al. ، Arxiv 2016.
  • ملاحظات على التقدير المتناقض للضوضاء وأخذ العينات السلبية. داير ، Arxiv 2014.
  • نمذجة اللغة العصبية العملية في الترجمة الآلية. Baltescu and Blunsom ، NAACL 2015

التنظيم والتسرب

  • تطبيق على الأرض من الناحية النظرية للتسرب في الشبكات العصبية المتكررة. غال وغهراماني ، NIPS 2016.
  • المدونة: عدم اليقين في التعلم العميق ، يارين جال.

أشياء أخرى

  • شبكات الطرق السريعة المتكررة. Zilly et al. ، Arxiv 2016.
  • القدرة وقابلية التدريب في الشبكات العصبية المتكررة. Collins et al. ، Arxiv 2016.

7. محاضرة 5 - تصنيف النص [كارل موريتز هيرمان]

تناقش هذه المحاضرة تصنيف النص ، بدءًا من المصنفات الأساسية ، مثل Bayes الساذجة ، والتقدم إلى RNNs وشبكات الالتصاف.

[شرائح] [فيديو]

قراءة

  • الشبكات العصبية التلافيفية المتكررة لتصنيف النص. لاي وآخرون. AAAI 2015.
  • شبكة عصبية تلافيفية لنمذجة جمل ، Kalchbrenner et al. ACL 2014.
  • التكوين الدلالي من خلال المصفوفة العودية ، Socher et al. EMNLP 2012.
  • المدونة: فهم الشبكات العصبية الالتفافية لـ NLP ، Denny Britz.
  • أطروحة: تمثيل توزيعي للدلالات التركيبية ، هيرمان (2014).

8. محاضرة 6 - NLP العميق على NVIDIA GPUS [Jeremy Appleyard]

تقدم هذه المحاضرة وحدات المعالجة الرسومية (GPUS) كبديل لموحدة المعالجة المركزية لتنفيذ خوارزميات التعلم العميق. وتناقش نقاط القوة والضعف في وحدات معالجة الرسومات وكذلك أهمية فهم مدى تأثير النطاق الترددي للذاكرة وإنتاجية حساب RNNs.

[شرائح] [فيديو]

قراءة

  • تحسين أداء الشبكات العصبية المتكررة على وحدات معالجة الرسومات. Appleyard et al. ، Arxiv 2016.
  • RNNs المستمرة: تخزين الأوزان المتكررة على الرقاقة ، Diamos et al. ، ICML 2016
  • تقريب softmax فعال ل GPU. Grave et al. ، Arxiv 2016.

9. المحاضرة 7 - نماذج اللغة الشرطية [كريس داير]

في هذه المحاضرة ، نقوم بتوسيع مفهوم نمذجة اللغة لدمج المعلومات السابقة. عن طريق تكييف نموذج لغة RNN على تمثيل الإدخال ، يمكننا إنشاء لغة ذات صلة بالسياق. يمكن تطبيق هذه الفكرة العامة للغاية لتحويل تسلسلات إلى تسلسلات جديدة للمهام مثل الترجمة والتلخيص ، أو الصور في تسلسل توضيحي تصف محتواها.

[شرائح] [فيديو]

قراءة

  • نماذج الترجمة المستمرة المتكررة. Kalchbrenner و Blunsom ، EMNLP 2013
  • تسلسل لتسلسل التعلم مع الشبكات العصبية. Sutskever et al. ، Nips 2014
  • نماذج اللغة العصبية متعددة الوسائط. Kiros et al. ، ICML 2014
  • أظهر وأخبر: مولد تسمية توضيحية للصور العصبية. Vinyals et al. ، CVPR 2015

10. المحاضرة 8 - توليد لغة مع الاهتمام [كريس داير]

تقدم هذه المحاضرة واحدة من أهم الآليات المؤثرة المستخدمة في الشبكات العصبية العميقة: الاهتمام. يعزز الانتباه الشبكات المتكررة مع القدرة على الحالة على أجزاء محددة من المدخلات وهو مفتاح تحقيق الأداء العالي في المهام مثل الترجمة الآلية والتسميات التوضيحية للصور.

[شرائح] [فيديو]

قراءة

  • الترجمة الآلية العصبية عن طريق التعلم المشترك لمحاذاة وترجمة. Bahdanau et al. ، ICLR 2015
  • إظهار وحضور وأخبر: توليد التسمية التوضيحية للصور العصبية مع الاهتمام البصري. Xu et al. ، ICML 2015
  • دمج تحيزات المحاذاة الهيكلية في نموذج الترجمة العصبية. Cohn et al. ، NAACL 2016
  • Bleu: طريقة للتقييم التلقائي للترجمة الآلية. Papineni et al ، ACL 2002

11. محاضرة 9 - التعرف على الكلام (ASR) [أندرو سنيور]

التعرف التلقائي على الكلام (ASR) هو مهمة تحويل إشارات الصوت الخام للغة المنطوقة إلى نسخ نصية. يغطي هذا الحديث تاريخ نماذج ASR ، من الخلطات الغوسية إلى RNNs المعززة للانتباه ، واللغويات الأساسية للكلام ، ومختلف تمثيلات المدخلات والمخرجات المستخدمة بشكل متكرر.

[شرائح] [فيديو]

12. محاضرة 10 - نص إلى الكلام (TTS) [أندرو سنيور]

تقدم هذه المحاضرة خوارزميات لتحويل اللغة المكتوبة إلى لغة منطوقة (نص إلى خطاب). TTS هي العملية العكسية لـ ASR ، ولكن هناك بعض الاختلافات المهمة في النماذج المطبقة. نراجع هنا نماذج TTS التقليدية ، ثم نغطي الأساليب العصبية الأكثر حداثة مثل نموذج Wavenet DeepMind.

[شرائح] [فيديو]

13. محاضرة 11 - إجابة سؤال [كارل موريتز هيرمان]

[شرائح] [فيديو]

قراءة

  • آلات التدريس للقراءة والفهم. Hermann et al. ، Nips 2015
  • التعلم العميق للاختيار جملة الإجابة. Yu et al. ، ورشة التعلم العميق NIPS 2014

14. محاضرة 12 - الذاكرة [إد جرينستتيت]

[شرائح] [فيديو]

قراءة

  • الحوسبة الهجينة باستخدام شبكة عصبية مع ذاكرة خارجية ديناميكية. Graves et al. ، Nature 2016
  • التفكير حول الاستفادة من الاهتمام العصبي. Rocktäschel et al. ، ICLR 2016
  • تعلم التحويل مع الذاكرة غير المحدودة. Grefenstette et al. ، NIPS 2015
  • شبكات الذاكرة من طرف إلى طرف. Sukhbaatar et al. ، Nips 2015

15. المحاضرة 13 - المعرفة اللغوية في الشبكات العصبية

[شرائح] [فيديو]

ساحة

سوف نستخدم بيازا لتسهيل مناقشة الفصل أثناء الدورة. بدلاً من إرسال الأسئلة عبر البريد الإلكتروني مباشرة ، أشجعك على نشر أسئلتك على Piazza للرد عليها من قبل زملائك الطلاب والمدربين والمحاضرين. ومع ذلك ، يرجى ملاحظة أن جميع المحاضرين لهذه الدورة يتطوعون بوقتهم وقد لا يكونون دائمًا متاحين لتقديم استجابة.

ابحث عن صفحة الفصل لدينا على: https://piazza.com/ox.ac.uk/winter2017/dnlpht2017/home

تقدير

سيكون التقييم الأساسي لهذه الدورة هو مهمة الاستيلاء على المنزل الصادرة في نهاية المصطلح. ستطرح هذه المهمة أسئلة مستمدة على المفاهيم والنماذج التي تمت مناقشتها في الدورة ، وكذلك من المنشورات البحثية المختارة. ستتضمن طبيعة الأسئلة تحليل الأوصاف الرياضية للنماذج واقتراح الامتدادات أو التحسينات أو التقييمات لمثل هذه النماذج. قد تطلب المهمة أيضًا من الطلاب قراءة منشورات بحثية محددة ومناقشة الخوارزميات المقترحة في سياق الدورة. في الإجابة على الأسئلة ، من المتوقع أن يقدم الطلاب حجج مكتوبة متماسكة واستخدام الصيغ الرياضية المناسبة ، وربما الرمز الزائفة ، لتوضيح الإجابات.

سيتم تقييم المكون العملي للدورة بالطريقة المعتادة.

شكر وتقدير

لم تكن هذه الدورة ممكنة دون دعم DeepMind ، قسم علوم الكمبيوتر بجامعة أكسفورد ، NVIDIA ، والتبرع السخي لموارد GPU من Microsoft Azure.

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل