تنزيل Practical_RL - تنزيل رمز المصدر Practical

Practical_RL

شفرة المصدر الأخرى

Spring 2020

تنزيل

عملي

دورة مفتوحة حول التعلم التعزيز في البرية. تم تدريسها في الحرم الجامعي في HSE و YSDA وحافظت عليها لتكون ودية للطلاب عبر الإنترنت (كل من اللغة الإنجليزية والروسية).

بيان:

تحسين للفضول. بالنسبة لجميع المواد غير المغطاة بالتفصيل ، هناك روابط لمزيد من المعلومات والمواد ذات الصلة (D.Silver/Sutton/Blogs/أيا كان). سيكون للواجبات أقسام إضافية إذا كنت ترغب في الحفر بشكل أعمق.
العملية أولاً. كل شيء ضروري لحل مشاكل التعلم التعزيز يستحق الذكر. لن نتجنب بعيدًا عن تغطية الحيل والاستدلال. لكل فكرة رئيسية يجب أن يكون هناك مختبر يجعلك "تشعر" به في مشكلة عملية.
غيترة. هل تعرف طريقة لجعل الدورة أفضل؟ لاحظت خطأ مطبعي في صيغة؟ وجدت رابط مفيد؟ جعل الرمز أكثر قابلية للقراءة؟ صنع نسخة لإطار بديل؟ أنت رائع! سحب السحب!

معلومات بالطبع

الأسئلة الشائعة: حول الدورة التدريبية ، خيط المشكلات الفنية ، شرائح المحاضرات ، دليل بقاء الطلاب عبر الإنترنت
نموذج ردود الفعل مجهول.
بيئة الدورة الافتراضية:
- Google Colab -Set Open -> Github -> YandexDatasChool/Pracical_rl -> {branch name} وحدد أي دفتر ملاحظات تريده.
- تثبيت التبعيات على جهازك المحلي (موصى به).
- البديل: دفاتر Azure.

مواد إضافية

مجموعة القراءة RL

منهج

المنهج هو تقريبي: قد تحدث المحاضرات بترتيب مختلف قليلاً وقد تنتهي بعض الموضوعات في نهاية المطاف.

Week01_Intro مقدمة
- محاضرة: مشاكل RL من حولنا. عمليات اتخاذ القرار. التحسين العشوائي ، طريقة المتقاطع. البحث عن مساحة المعلمة مقابل البحث عن الفضاء.
- ندوة: مرحبًا بك في Openai Gym. CEM Tabular لـ SARI-V0 ، CEM العميق لبيئات Box2D.
- الواجب المنزلي الوصف - انظر Week1/README.MD.
Week02_value_based الأساليب المستندة إلى القيمة
- محاضرة: مكافأة مخفضة MDP. النهج القائم على القيمة. تكرار القيمة. تكرار السياسة. تفشل المكافأة المخفضة.
- ندوة: تكرار القيمة.
- الواجب المنزلي الوصف - انظر Week2/README.MD.
week03_model_free التعلم التعزيز الخالي من النماذج
- محاضرة: Q-Learning. سارسا. خارج السياسة مقابل الخوارزميات على الجودة. خوارزميات N-Step. TD (Lambda).
- ندوة: Qlearning vs Sarsa vs القيمة المتوقعة Sarsa
- الواجب المنزلي الوصف - انظر Week3/README.MD.
recap_deep_learning - خلاصة التعلم العميق
- المحاضرة: التعلم العميق 101
- ندوة: مقدمة إلى Pytorch/TensorFlow ، تصنيف صور بسيط مع Convnets
week04_approx_rl تقريبي (عميق) RL
- محاضرة: مساحة الدولة اللانهائية/المستمرة. تقريب وظيفة تقريب. ظروف التقارب. عوامل متعددة خدعة. تجربة تجربة ، شبكات مستهدفة ، مزدوجة/مبارزة/bootstrap DQN ، إلخ.
- ندوة: تقريبية للتعلم مع إعادة تجربة تجربة. (Cartpole ، أتاري)
week05_explore الاستكشاف
- المحاضرة: قطاع الطرق السياق. Thompson Sampling ، UCB ، Bayesian UCB. الاستكشاف في RL القائم على النموذج ، MCTS. "عميق" الاستدلال للاستكشاف.
- ندوة: استكشاف بايزي للقطن السياقيين. UCB ل MCTS.
week06_policy_based أساليب التدرج السياسي
- المحاضرة: الدافع وراء السياسة ، التدرج السياسي ، خدعة لوجدري ، تعزيز/طريقة التبادل ، الحد من التباين (خط الأساس) ، Advantage Actor-Critic (Cinf. GAE)
- الندوة: تعزيز ، ميزة الممثل الناقد
week07_seq2seq التعلم التعزيز لنماذج التسلسل
- محاضرة: مشاكل مع البيانات المتسلسلة. الشبكات العصبية المتكررة. الخلفية عبر الزمن. التلاشي والانفجار التدرجات. LSTM ، جرو. لقطة التدرج
- الندوة: نموذج لغة RNN على مستوى الشخصية
week08_pomdp لوحظ جزئيًا MDP
- محاضرة: مقدمة POMDP. التعلم POMDP (وكلاء مع الذاكرة). تخطيط POMDP (POMCP ، إلخ)
- ندوة: Deep Kung-Fu & Doom مع A3C و DRQN المتكررة
week09_policy_ii الأساليب القائمة على السياسة المتقدمة
- المحاضرة: تحسين سياسة منطقة الثقة. NPO/PPO. تدرج السياسة الحتمية. DDPG
- ندوة: TRPO تقريبي للسيطرة على الروبوت البسيط.
week10_planning المستندة إلى النموذج RL & CO
- محاضرة: RL القائمة على النموذج ، التخطيط بشكل عام ، التعلم التقليدي وتعلم التعزيز العكسي
- ندوة: MCTS لمهام الألعاب
yoy_another_week العكسي RL والتعلم المقلد
- كل هذه الأشياء الرائعة التي لن تتعلمها من هذه الدورة :)