minimalRL

minimalrl-pytorch

การใช้งานอัลกอริทึม RL พื้นฐานที่มีรหัสบรรทัดน้อยที่สุด! (ตาม Pytorch)

• อัลกอริทึมแต่ละตัวจะเสร็จสมบูรณ์ภายในไฟล์เดียว

• ความยาวของแต่ละไฟล์สูงถึง 100 ~ 150 บรรทัดของรหัส

• ทุกอัลกอริทึมสามารถฝึกอบรมได้ภายใน 30 วินาทีแม้จะไม่มี GPU

• Envs ได้รับการแก้ไขเป็น "cartpole-v1" คุณสามารถมุ่งเน้นไปที่การใช้งาน

อัลกอริทึม

1. เสริมกำลัง (67 บรรทัด)
2. Vanilla Actor-Critic (98 บรรทัด)
3. DQN (112 บรรทัดรวมถึง Replay Memory และ Target Network)
4. PPO (119 บรรทัดรวมถึง GAE)
5. DDPG (145 บรรทัดรวมถึงเสียงรบกวน OU และการอัปเดตเป้าหมายที่อ่อนนุ่ม)
6. A3C (129 บรรทัด)
7. Acer (149 บรรทัด)
8. A2C (188 บรรทัด)
9. SAC (171 บรรทัด) เพิ่ม !!
10. เพิ่ม PPO (161 บรรทัด) !!
11. เพิ่ม Vtrace (137 บรรทัด) !!
12. มีข้อเสนอแนะ ... ?

การพึ่งพาอาศัยกัน

1. pytorch
2. Openai Gym (> 0.26.2 สำคัญ !! ไม่สนับสนุนเวอร์ชันก่อนหน้านี้อีกต่อไป)

การใช้งาน

 # Works only with Python 3.
# e.g.
python3 REINFORCE.py
python3 actor_critic.py
python3 dqn.py
python3 ppo.py
python3 ddpg.py
python3 a3c.py
python3 a2c.py
python3 acer.py
python3 sac.py