تعلم عميق لـ NLP
هذا البرنامج التعليمي هو مقدمة لاستخدام خوارزمية التعلم العميق في مجال معالجة اللغة الطبيعية.
ويتم إعداده باستخدام المحتوى (النظرية والرمز) من المصادر التالية:
- التعلم العميق مع بيثون ، كتاب لفرانسوا شوليت
- طرق الشبكة العصبية في معالجة اللغة الطبيعية ، كتاب من قبل Yoav Goldberg
- CS224D: التعلم العميق لمعالجة اللغة الطبيعية
رمز الممارسة على مجموعة بيانات تحدي التعليقات السامة لـ Kaggle
جدول المحتويات
استخدام الحالات
- تصنيف التسلسل
- اكتشاف اللغة
- تصنيف الفئة (المشاعر ، الموضوعات وما إلى ذلك)
- تصنيف الكلمات الرئيسية (اسم الجنس ، اسم/اسم الشخص)
- تسلسل للتسلسل (SEQ2SEQ)
- ترجمة
- الرد الذكي Gmail
- منظمة العفو الدولية للمحادثة: روبوتات الدردشة
- آحرون
- الاسم ، القصة ، قصيدة ، مولد مربع الحوار
- التسمية التوضيحية للصور
- جزء من علامات الكلام
- الاسم التعرف على الكيان
إعداد النظام
- بيثون 3.6
- pip
- VirtualEnv
- المكتبات:
- كيراس
- Tensorflow
- Jupyter
- Matplotlib
مجموعات البيانات للعب
- IMDB مراجعة مجموعة البيانات
- Kaggle (تحدي تصنيف التعليقات السامة) Wikipedia التعليق مجموعة بيانات
- Ubuntu Dialog Corpora
- مجموعة بيانات الترجمة
- مجموعات بيانات أخرى
تحليل البيانات
- التحليل العام
تمثيل التسلسل
- التمثيل
- ترميز ساخن واحد
- تضمينات كلمة
النماذج
- التضمين على طراز الفئة 1
- التضمين متصل بـ 1 طبقة RNN (الشبكة العصبية المتكررة) النموذج 2 والنموذج 2 الممتد
- امتدت نموذج RNN ثنائي الاتجاه 3 و Model 3
الهندسة المعمارية الحديثة
- ذاكرة طويلة الأجل طويلة الأجل (LSTM)
- وحدة متكررة Gater (GRU)
- Seq2Seq
- انتباه
- بحث الشعاع
كيراس
- API والكلمات الرئيسية
- محسنات
- خسارة
- التنشيط
- المقاييس
- نشر النموذج على الإنتاج والاستدلال
تقنيات تحسين النموذج
- أوقع
- backpropagation المقطوعة عبر الزمن (TBPTT)
- مشكلة التدرج التلاشي