pytorch rl

การเรียนรู้การเสริมแรงอย่างลึกซึ้งใน Pytorch

พื้นที่เก็บข้อมูลนี้มีอัลกอริทึม RL แบบฟรีแบบจำลองและแบบจำลองทั้งหมด (มา) ใน Pytorch (อาจมีแนวคิดการวิจัยบางอย่างที่ฉันกำลังทำอยู่ในปัจจุบัน)

สำหรับ c ++ เวอร์ชันของ pytorch-rl: pytorch-rl-cpp

มันคืออะไร?

Pytorch-RL ใช้อัลกอริธึมการเรียนรู้การเสริมแรงอย่างลึกล้ำของศิลปะใน Pytorch โดยเฉพาะอย่างยิ่งผู้ที่เกี่ยวข้องกับพื้นที่แอ็คชั่นอย่างต่อเนื่อง คุณสามารถฝึกอัลกอริทึมของคุณได้อย่างมีประสิทธิภาพทั้งใน CPU หรือ GPU นอกจากนี้ Pytorch-RL ยังทำงานร่วมกับ Openai Gym นอกกรอบ ซึ่งหมายความว่าการประเมินและเล่นกับอัลกอริทึมที่แตกต่างกันนั้นง่าย แน่นอนคุณสามารถขยาย Pytorch-RL ตามความต้องการของคุณเอง TL: DR: Pytorch-RL ทำให้ง่ายต่อการใช้อัลกอริธึมการเรียนรู้การเสริมแรงที่ล้ำสมัย

การติดตั้ง

ติดตั้ง Pytorch-RL จาก PYPI (แนะนำ):

PIP ติดตั้ง pytorch-policy

การพึ่งพาอาศัยกัน

1. pytorch
2. โรงยิม (Openai)
3. Mujoco-py (สำหรับการจำลองฟิสิกส์และหุ่นยนต์ env ในโรงยิม)
4. Pybullet (เร็ว ๆ นี้)
5. MPI (รองรับการติดตั้ง MPI Backend Pytorch เท่านั้น)
6. tensorboardx (https://github.com/lanpa/tensorboardx)

อัลกอริทึม RL

1. DQN (พร้อมการเรียนรู้สองครั้ง)
2. DDPG
3. DDPG กับเธอ (สำหรับสภาพแวดล้อมการดึงข้อมูล openai)
4. การเรียนรู้การเสริมแรงจากทายาท
5. ประสบการณ์การเล่นซ้ำ + DDPG
6. DDPG พร้อมการเล่นซ้ำประสบการณ์ย้อนหลัง (การวิจัย)
7. แผนที่ประสาทด้วย A3C (เร็ว ๆ นี้)
8. Rainbow DQN (เร็ว ๆ นี้)
9. PPO (https://github.com/ikostrikov/pytorch-a2c-ppo-acktr)
10. เธอด้วยความสนใจในตัวเองเพื่อทดแทนเป้าหมาย (การวิจัย)
11. A3C (เร็ว ๆ นี้)
12. Acer (เร็ว ๆ นี้)
13. ดาร์ลา
14. TDM
15. นางแบบโลก
16. นักแสดงที่อ่อนนุ่ม
17. Empowerment Driven Driven Exploration (การใช้งาน TensorFlow: https://github.com/navneet-nmk/empowerment-driven-exploration)

สภาพแวดล้อม

1. การฝ่าวงล้อม
2. พงษ์ (เร็ว ๆ นี้)
3. งานหุ่นยนต์จัดการมือ
4. งานหุ่นยนต์ที่เข้าถึงได้
5. งานหุ่นยนต์ที่เข้าถึงได้ด้วยมือ
6. บล็อกงานหุ่นยนต์จัดการ
7. การแก้แค้นของ Montezuma (การวิจัยในปัจจุบัน)
8. ความผิดพลาด
9. แรงหน่วง
10. การแร็ก
11. Super Mario Bros (ทำตามคำแนะนำในการติดตั้ง Gym-Retro https://github.com/openai/retro)
12. OpenSim Prosthetics NIPS Challenge (https://www.crowdai.org/challenges/nips-2018-ai-for-for-for-racthetics-challenge)

การสร้างแบบจำลองสภาพแวดล้อม (สำหรับการสำรวจและการปรับโดเมน)

มีการใช้เทคนิคการฝึกอบรม GAN หลายครั้งเนื่องจากความไม่แน่นอนในการฝึกอบรมเครื่องกำเนิดไฟฟ้าและผู้เลือกปฏิบัติ โปรดดูที่ https://github.com/soumith/ganhacks สำหรับข้อมูลเพิ่มเติม

แม้หลังจากใช้กลอุบายมันก็ยากที่จะฝึกฝน Gan เพื่อการบรรจบกัน อย่างไรก็ตามหลังจากใช้การทำให้เป็นมาตรฐานสเปกตรัม (https://arxiv.org/abs/1802.05957) Infogan ได้รับการฝึกฝนให้เข้าบรรจบกัน

สำหรับงานการแปลภาพกับภาพกับ GANS และสำหรับ VAES โดยทั่วไปการฝึกอบรมด้วยการเชื่อมต่อข้ามช่วยการฝึกอบรมจริงๆ

1. เบต้า-วา
2. คนอินฟ็กโก
3. cvae-gan
4. แบบจำลองการกำเนิดจากการไหล (การวิจัย)
5. คนเจ้าชู้
6. การเข้าร่วมตามลำดับอนุมานทำซ้ำ
7. การสำรวจความอยากรู้อยากเห็น
8. เสียงอวกาศพารามิเตอร์สำหรับการสำรวจ
9. เครือข่ายที่มีเสียงดัง

การอ้างอิง

1. เล่นอาตาริด้วยการเรียนรู้การเสริมแรงอย่างลึกซึ้ง MNIH และคณะ, 2013
2. การควบคุมระดับมนุษย์ผ่านการเรียนรู้การเสริมแรงอย่างลึกล้ำ MNIH et al., 2015
3. การเรียนรู้การเสริมแรงอย่างลึกล้ำด้วยการเรียนรู้แบบสองครั้ง, Van Hasselt et al., 2015
4. การควบคุมอย่างต่อเนื่องด้วยการเรียนรู้การเสริมแรงอย่างลึกล้ำ Lillicrap et al., 2015
5. CVAE-GAN: การสร้างภาพที่ละเอียดผ่านการฝึกอบรมแบบไม่สมมาตร, Bao et al., 2017
6. Beta-vae: การเรียนรู้แนวคิดการมองเห็นขั้นพื้นฐานด้วยกรอบการแปรปรวนแบบ จำกัด , Higgins et al., 2017
7. Experience Hindsight Replay, Andrychowicz et al., 2017
8. Infogan: การเรียนรู้การเป็นตัวแทนที่ตีความได้โดยการเพิ่มข้อมูลสูงสุดของอวน antcersarial generative, Chen et al., 2016
9. โมเดลโลก Ha et al., 2018
10. การทำให้เป็นมาตรฐานทางสเปกตรัมสำหรับเครือข่ายฝ่ายตรงข้าม Generative, Miyato et al., 2018
11. เครือข่ายฝ่ายตรงข้ามที่เกิดขึ้นเอง, Zhang et al., 2018
12. การสำรวจที่ขับเคลื่อนด้วยความอยากรู้อยากเห็นโดยการทำนายตนเองที่ดูแลตนเอง Pathak et al., 2017
13. Soft Actor-Critic: การเรียนรู้การเสริมแรงอย่างลึกซึ้งสูงสุดของเอนโทรปีกับนักแสดงสุ่ม, Haarnoja et al., 2018
14. พารามิเตอร์เสียงอวกาศสำหรับการสำรวจ Plappert et al., 2018
15. เครือข่ายที่มีเสียงดังสำหรับการสำรวจ Fortunato et al., 2018
16. อัลกอริทึมการเพิ่มประสิทธิภาพนโยบายใกล้เคียง, Schulman et al., 2017
17. การควบคุมแบบเรียลไทม์ที่ไม่ได้รับการดูแลผ่านการเสริมพลังแบบแปรปรวน Karl et al., 2017
18. ข้อมูลร่วมกันการประมาณระบบประสาท Belghazi et al., 2018
19. การสำรวจที่ขับเคลื่อนด้วยพลังโดยใช้การประมาณข้อมูลร่วมกัน Kumar et al., 2018