deep reinforcement learning

التعزيز العميق تعلم النانو

يحتوي هذا المستودع على مواد تتعلق ببرنامج التعزيز العميق في التعزيز العميق في Udacity.

جدول المحتويات

دروس

تقودك البرامج التعليمية من خلال تنفيذ مختلف الخوارزميات في تعلم التعزيز. كل الكود في Pytorch (v0.4) و Python 3.

• البرمجة الديناميكية: تنفيذ خوارزميات البرمجة الديناميكية مثل تقييم السياسة ، وتحسين السياسة ، وتكرار السياسة ، وتكرار القيمة.
• مونت كارلو: تنفيذ أساليب مونت كارلو للتنبؤ والتحكم.
• الفرق الزمني: تنفيذ طرق الفرق الزمني مثل SARSA ، و Q-Learning ، و SARSA المتوقع.
• التقدير: تعلم كيفية تقدير مساحات الحالة المستمرة ، وحل بيئة السيارة الجبلية.
• ترميز البلاط: قم بتنفيذ طريقة لتقدير المساحات المستمرة التي تتيح التعميم بشكل أفضل.
• Deep Q-Network: استكشف كيفية استخدام Q-network العميق (DQN) للتنقل في مركبة فضائية دون تحطم.
• الروبوتات: استخدم API C ++ لتدريب وكلاء التعلم التعزيز من المحاكاة الآلية الافتراضية في 3D. ( الرابط الخارجي )
• تسلق التل: استخدم تسلق التل مع تحجيم الضوضاء التكيفية لموازنة القطب على عربة متحركة.
• طريقة الإدخال المتقاطعة: استخدم طريقة الإدخال المتقاطعة لتدريب سيارة للتنقل في تل شديد الانحدار.
• تعزيز: تعلم كيفية استخدام تدرجات سياسة مونت كارلو لحل مهمة تحكم كلاسيكية.
• تحسين السياسة القريبة : استكشف كيفية استخدام تحسين السياسة القريبة (PPO) لحل مهمة التعلم الكلاسيكية التعزيز. ( قريباً! )
• تدرجات السياسة الحتمية العميقة : استكشاف كيفية استخدام تدرجات السياسة الحتمية العميقة (DDPG) مع بيئات صالة الألعاب الرياضية Openai.
  • البندول: استخدم بيئة البندول في Openai Gym.
  • Bipedalwalker: استخدم بيئة Openai Gym's Bipedalwalker.
• التمويل: تدريب وكيل لاكتشاف استراتيجيات التداول المثلى.

المختبرات / المشاريع

يمكن العثور على المختبرات والمشاريع أدناه. تستخدم جميع المشاريع بيئات المحاكاة الغنية من مواليد الوحدة. في برنامج التعلم العميق التعلم nanodegree ، ستتلقى مراجعة لمشروعك. تهدف هذه المراجعات إلى منحك ملاحظات مخصصة وإخبارك بما يمكن تحسينه في الكود الخاص بك.

• مشكلة التاكسي: في هذا المختبر ، سوف تدرب سيارة أجرة لالتقاط الركاب وتنزلقهم.
• التنقل: في المشروع الأول ، ستقوم بتدريب وكيل لجمع الموز الأصفر مع تجنب الموز الأزرق.
• التحكم المستمر: في المشروع الثاني ، ستقوم بتدريب ذراع آلية للوصول إلى المواقع المستهدفة.
• التعاون والمنافسة: في المشروع الثالث ، ستقوم بتدريب زوجين من الوكلاء للعب التنس!

موارد

• Cheatsheet: نشجعك على استخدام ملف PDF هذا لتوجيه دراستك للتعلم التعزيز.

معايير صالة الألعاب الرياضية Openai

السيطرة الكلاسيكية

• Acrobot-v1 مع ترميز البلاط والتعلم Q
• Cartpole-v0 مع تسلق التل | تم حلها في 13 حلقة
• Cartpole-v0 مع تعزيز | تم حلها في 691 حلقة
• MountainCarContinuous-v0 مع طريقة المتقاطع | حل في 47 تكرار
• MountainCar-v0 مع تقديري الشبكة الموحدة والتعلم Q | تم حلها في <50000 حلقات
• Pendulum-v0 مع تدرجات السياسة الحتمية العميقة (DDPG)

Box2d

• BipedalWalker-v2 مع تدرجات السياسة الحتمية العميقة (DDPG)
• CarRacing-v0 مع Q-networks العميق (DQN) | قريباً!
• LunarLander-v2 مع Deep Q-Networks (DQN) | تم حلها في 1504 حلقة

نص لعبة

• FrozenLake-v0 مع البرمجة الديناميكية
• Blackjack-v0 مع أساليب Monte Carlo
• CliffWalking-v0 مع طرق الفرق الزمني

التبعيات

لإعداد بيئة Python لتشغيل الرمز في هذا المستودع ، اتبع الإرشادات أدناه.

1. إنشاء (وتفعيل) بيئة جديدة مع Python 3.6.

   • Linux أو Mac :

   conda create --name drlnd python=3.6
   source activate drlnd

   • Windows :

   conda create --name drlnd python=3.6 
   activate drlnd

2. إذا كنت تعمل في Windows ، فتأكد من أن لديك "أدوات البناء لـ Visual Studio 2019" المثبت من هذا الموقع. قد تكون هذه المقالة مفيدة للغاية. تم تأكيد ذلك للعمل في Windows 10 Home.

3. اتبع الإرشادات الواردة في هذا المستودع لأداء الحد الأدنى من تثبيت Openai Gym.

   • بعد ذلك ، قم بتثبيت مجموعة بيئة التحكم الكلاسيكية باتباع التعليمات هنا.
   • ثم ، قم بتثبيت مجموعة البيئة Box2D باتباع الإرشادات هنا.

4. استنساخ المستودع (إذا لم تقم بالفعل!) ، وانتقل إلى python/ المجلد. ثم ، تثبيت العديد من التبعيات.

   git clone https://github.com/udacity/deep-reinforcement-learning.git
   cd deep-reinforcement-learning/python
   pip install .

5. إنشاء kernel ipython لبيئة drlnd .

   python -m ipykernel install --user --name drlnd --display-name " drlnd "

6. قبل تشغيل التعليمات البرمجية في دفتر ملاحظات ، قم بتغيير kernel لمطابقة بيئة drlnd باستخدام قائمة Kernel المنسدلة.

تريد معرفة المزيد؟

تعال وتعلم معنا في برنامج التعلم العميق التعلم النانودي في Udacity!