pytorch rl

تعلم التعزيز العميق في Pytorch

يحتوي هذا المستودع على جميع خوارزميات RL الخالية من النماذج (القادمة) القائمة على النماذج في Pytorch. (قد تحتوي أيضًا على بعض الأفكار البحثية التي أعمل عليها حاليًا)

للحصول على إصدار C ++ من Pytorch-RL: Pytorch-RL-CPP

ما هذا؟

يقوم Pytorch-RL بتنفيذ بعض خوارزميات التعلم العميقة في Pytorch ، خاصة تلك المعنية بمساحات العمل المستمرة. يمكنك تدريب الخوارزمية بكفاءة إما على وحدة المعالجة المركزية أو وحدة معالجة الرسومات. علاوة على ذلك ، يعمل Pytorch-RL مع Openai Gym خارج الصندوق. هذا يعني أن التقييم واللعب مع خوارزميات مختلفة أمر سهل. بالطبع يمكنك تمديد Pytorch-RL وفقًا لاحتياجاتك الخاصة. TL: DR: Pytorch-RL يجعل من السهل حقًا تشغيل خوارزميات التعلم العميقة على أحدث طراز.

تثبيت

تثبيت Pytorch-RL من PYPI (موصى به):

PIP تثبيت pytorch-policy

التبعيات

1. Pytorch
2. صالة رياضية (Openai)
3. Mujoco-PY (لمحاكاة الفيزياء والروبوتات ENV في صالة الألعاب الرياضية)
4. pybullet (قريبا)
5. MPI (مدعوم فقط بتثبيت Pytorch الخلفي MPI)
6. Tensorboardx (https://github.com/lanpa/tensorboardx)

خوارزميات RL

1. DQN (مع تعلم Q مزدوج)
2. DDPG
3. DDPG معها (لبيئات جلب Openai)
4. تعلم التعزيز الوريش
5. إعادة تحديد أولوية إعادة التشغيل + DDPG
6. DDPG مع إعادة تشغيل تجربة الإدراك الأولوية (البحث)
7. الخريطة العصبية مع A3C (قريبا)
8. قوس قزح DQN (قريبا)
9. PPO (https://github.com/ikostrikov/pytorch-a2c-ppo-acktr)
10. لها باهتمامها في استبدال الأهداف (البحث)
11. A3C (قريبا)
12. أيسر (قريبا)
13. دارلا
14. TDM
15. نماذج العالم
16. ممثل ناعم النحاسي
17. استكشاف تمكين تمكين (تنفيذ TensorFlow: https://github.com/navneet-nmk/empowerment-driven-exploration)

البيئات

1. انطلق
2. بونغ (قريبا)
3. مهمة روبوتية التلاعب باليد
4. جلب مهمة آلية
5. مهمة روبوتية يدوية
6. كتلة التلاعب المهمة الآلية
7. مونتيزوما الانتقام (البحث الحالي)
8. شرك
9. جاذبية
10. يحمل
11. Super Mario Bros (اتبع التعليمات لتثبيت Gym-Retro https://github.com/openai/retro)
12. Opensim الأطراف الاصطناعية NIPS تحدي (https://www.crowdai.org/challenges/nips-2018-ai-for-prosthetics-challenge)

نمذجة البيئة (للاستكشاف والتكيف مع المجال)

تم استخدام حيل التدريب المتعددة GAN بسبب عدم الاستقرار في تدريب المولدات والتمييز. يرجى الرجوع إلى https://github.com/soumith/ganhacks لمزيد من المعلومات.

حتى بعد استخدام الحيل ، كان من الصعب حقًا تدريب Gan على التقارب. ومع ذلك ، بعد استخدام التطبيع الطيفي (https://arxiv.org/abs/1802.05957) تم تدريب Infogan على التقارب.

للحصول على مهام ترجمة الصورة مع Gans و VAEs بشكل عام ، فإن التدريب مع Skip Connection يساعد حقًا على التدريب.

1. بيتا-فاي
2. إنفوجان
3. cvae-gan
4. النماذج التوليدية القائمة على التدفق (البحث)
5. ساجان
6. الحضور المتسلسل ، استنتاج ، كرر
7. الفضول مدفوعة الاستكشاف
8. ضوضاء مساحة المعلمة للاستكشاف
9. شبكة صاخبة

مراجع

1. لعب أتاري مع التعلم التعزيز العميق ، Mnih et al. ، 2013
2. السيطرة على مستوى الإنسان من خلال تعلم التعزيز العميق ، Mnih et al. ، 2015
3. تعلم التعزيز العميق مع التعلم Q مزدوج ، فان هاسيلت وآخرون ، 2015
4. السيطرة المستمرة مع التعلم التعزيز العميق ، Lillicrap et al. ، 2015
5. CVAE-GAN: توليد الصور الدقيق من خلال التدريب غير المتماثل ، Bao et al. ، 2017
6. Beta-VAE: تعلم المفاهيم البصرية الأساسية مع إطار اختلاف مقيد ، Higgins et al. ، 2017
7. إعادة توزيع تجربة الإعادة ، Andrychowicz et al. ، 2017
8. Infogan: التعلم التمثيل القابل للتفسير عن طريق المعلومات إلى تعظيم الشباك العدائية التوليدية ، Chen et al. ، 2016
9. نماذج العالم ، ها وآخرون ، 2018
10. التطبيع الطيفي للشبكات العدائية التوليدية ، Miyato et al. ، 2018
11. شبكات العدوى التوليدية للاعتداء الذاتي ، Zhang et al. ، 2018
12. استكشاف الفضول الذي يحركه الفضول من خلال التنبؤ ذاتيا ، باثاك وآخرون ، 2017
13. الممثل الناعم الناقص: التعلم التعزيز العميق خارج الجودة مع ممثل عشوائي ، Haarnoja et al. ، 2018
14. ضوضاء مساحة المعلمة للاستكشاف ، Plappert et al. ، 2018
15. شبكة صاخبة للاستكشاف ، Fortunato et al. ، 2018
16. خوارزميات تحسين السياسة القريبة ، شولمان وآخرون ، 2017
17. السيطرة في الوقت الفعلي غير الخاضع للرقابة من خلال التمكين التباين ، Karl et al. ، 2017
18. التقدير العصبي للمعلومات المتبادلة ، Belghazi et al. ، 2018
19. الاستكشاف القائم على التمكين باستخدام تقدير المعلومات المتبادلة ، كومار وآخرون ، 2018