PPO PyTorch

PPO-Pytorch

อัปเดต [เมษายน 2021]:

• รวมอัลกอริทึมที่ไม่ต่อเนื่องและต่อเนื่อง
• เพิ่มการสลายตัวเชิงเส้นสำหรับพื้นที่แอ็คชั่นอย่างต่อเนื่อง action_std ; เพื่อให้การฝึกอบรมมีเสถียรภาพมากขึ้นสำหรับสภาพแวดล้อมที่ซับซ้อน
• เพิ่มอัตราการเรียนรู้ที่แตกต่างกันสำหรับนักแสดงและนักวิจารณ์
• ตอนนี้ช่วงเวลาและรางวัลตอนนี้เข้าสู่ระบบไฟล์ .csv
• ใช้ในการพล็อตกราฟจากไฟล์บันทึก
• ใช้ในการทดสอบและสร้าง GIF จากเครือข่ายที่ผ่านการฝึกอบรม
• PPO_colab.ipynb รวมไฟล์ทั้งหมดเข้ากับการฝึกอบรม / ทดสอบ / พล็อตกราฟ / สร้าง GIFs บน Google Colab ใน Jupyter-Notebook ที่สะดวกสบาย

เปิด PPO_colab.ipynb ใน Google Colab

การแนะนำ

ที่เก็บนี้ให้การใช้งาน pytorch น้อยที่สุดของการเพิ่มประสิทธิภาพนโยบายใกล้เคียง (PPO) โดยมีวัตถุประสงค์ที่ถูกตัดสำหรับสภาพแวดล้อมการออกกำลังกาย OpenAI มันมีไว้สำหรับผู้เริ่มต้นในการเรียนรู้การเสริมแรงเพื่อทำความเข้าใจอัลกอริทึม PPO มันยังสามารถใช้สำหรับสภาพแวดล้อมที่ซับซ้อน แต่อาจต้องใช้การปรับแต่งพารามิเตอร์หรือการเปลี่ยนแปลงในรหัส คำอธิบายที่กระชับของอัลกอริทึม PPO สามารถพบได้ที่นี่และการอธิบายอย่างละเอียดเกี่ยวกับรายละเอียดทั้งหมดสำหรับการใช้งาน PPO ที่มีประสิทธิภาพดีที่สุดสามารถดูได้ที่นี่ (ทั้งหมดยังไม่ได้ใช้งานใน repo นี้)

เพื่อให้ขั้นตอนการฝึกอบรมง่ายขึ้น:

• มันมี ค่าเบี่ยงเบนมาตรฐานคงที่ สำหรับการแจกแจงการดำเนินการเอาต์พุต ( หลายตัวแปรปกติด้วยเมทริกซ์ความแปรปรวนร่วมในแนวทแยง ) สำหรับสภาพแวดล้อมที่ต่อเนื่องเช่นมันเป็นพารามิเตอร์ไฮเปอร์พารามิเตอร์และไม่ใช่พารามิเตอร์ที่สามารถฝึกอบรมได้ อย่างไรก็ตามมัน สลายตัวเป็นเส้นตรง (action_std มีผลต่อประสิทธิภาพอย่างมาก)
• มันใช้ การประเมิน Monte-Carlo อย่างง่ายสำหรับการคำนวณข้อได้เปรียบและไม่ใช่การประเมินความได้เปรียบทั่วไป
• มันเป็นการ ใช้งานแบบเธรดเดียว เช่นคนงานเพียงคนเดียวเท่านั้นที่รวบรวมประสบการณ์ หนึ่งในส้อมเก่าของที่เก็บนี้ได้รับการแก้ไขเพื่อให้มีคนงานขนาน

การใช้งาน

• เพื่อฝึกอบรมเครือข่ายใหม่: Run train.py
• เพื่อทดสอบเครือข่ายที่ผ่านการฝึกอบรม: Run test.py
• ในการพล็อตกราฟโดยใช้ไฟล์บันทึก: เรียกใช้ plot_graph.py
• หากต้องการบันทึกภาพสำหรับ GIF และสร้าง GIF โดยใช้เครือข่ายที่ผ่านการฝึกอบรม: เรียกใช้ make_gif.py
• พารามิเตอร์และ hyperparamters ทั้งหมดเพื่อควบคุมการฝึกอบรม / การทดสอบ / กราฟ / GIFs อยู่ในไฟล์ .py ที่เกี่ยวข้อง
• PPO_colab.ipynb รวมไฟล์ทั้งหมดใน JUPYTER-NOTEBOOK
• ไฮเปอร์พารามิเตอร์ทั้งหมดที่ใช้สำหรับการฝึกอบรม (pretrained) นโยบายมีการระบุไว้ ใน README.md ในไดเรกทอรี ppo_pretrained

บันทึก :

• หากสภาพแวดล้อมทำงานบน CPU ให้ใช้ CPU เป็นอุปกรณ์สำหรับการฝึกอบรมที่เร็วขึ้น Box-2D และ Roboschool ทำงานบน CPU และฝึกอบรมพวกเขาบนอุปกรณ์ GPU จะช้าลงอย่างมากเนื่องจากข้อมูลจะถูกย้ายระหว่าง CPU และ GPU บ่อยครั้ง

การอ้าง

โปรดใช้ bibtex นี้หากคุณต้องการอ้างถึงที่เก็บนี้ในสิ่งพิมพ์ของคุณ:

 @misc{pytorch_minimal_ppo,
    author = {Barhate, Nikhil},
    title = {Minimal PyTorch Implementation of Proximal Policy Optimization},
    year = {2021},
    publisher = {GitHub},
    journal = {GitHub repository},
    howpublished = {url{https://github.com/nikhilbarhate99/PPO-PyTorch}},
}

ผลลัพธ์

PPO Roboschoolhalfcheetah-V1 ต่อเนื่อง	PPO Roboschoolhalfcheetah-V1 ต่อเนื่อง

PPO Roboschoolhopper-V1 ต่อเนื่อง	PPO Roboschoolhopper-V1 ต่อเนื่อง

PPO Roboschoolwalker2D-V1 ต่อเนื่อง	PPO Roboschoolwalker2D-V1 ต่อเนื่อง

PPO อย่างต่อเนื่อง bipedalwalker-v2	PPO อย่างต่อเนื่อง bipedalwalker-v2

PPO ไม่ต่อเนื่อง cartpole-v1	PPO ไม่ต่อเนื่อง cartpole-v1

PPO ไม่ต่อเนื่อง Lunarlander-V2	PPO ไม่ต่อเนื่อง Lunarlander-V2

การพึ่งพาอาศัยกัน

ได้รับการฝึกฝนและทดสอบแล้ว:

 Python 3
PyTorch
NumPy
gym

สภาพแวดล้อมการฝึกอบรม

 Box-2d
Roboschool
pybullet

กราฟและ gifs

 pandas
matplotlib
Pillow

การอ้างอิง

• กระดาษ PPO
• Openai หมุนขึ้น