deep reinforcement learning

การเสริมแรงอย่างลึกซึ้งการเรียนรู้ nanodegree

ที่เก็บนี้มีวัสดุที่เกี่ยวข้องกับโปรแกรมการเรียนรู้การเสริมแรงอย่างลึกซึ้งของ Udacity

สารบัญ

บทเรียน

บทเรียนนำคุณผ่านการใช้อัลกอริทึมต่างๆในการเรียนรู้การเสริมแรง รหัสทั้งหมดอยู่ใน pytorch (v0.4) และ Python 3

• การเขียนโปรแกรมแบบไดนามิก: ใช้อัลกอริทึมการเขียนโปรแกรมแบบไดนามิกเช่นการประเมินนโยบายการปรับปรุงนโยบายการทำซ้ำนโยบายและการทำซ้ำมูลค่า
• Monte Carlo: ใช้วิธี Monte Carlo สำหรับการทำนายและการควบคุม
• Temporal-Difference: ใช้วิธีการที่แตกต่างชั่วคราวเช่น SARSA, Q-Learning และ SARSA ที่คาดหวัง
• Discretization: เรียนรู้วิธีการแยกพื้นที่ของรัฐต่อเนื่องและแก้ปัญหาสภาพแวดล้อมของรถภูเขา
• การเข้ารหัสกระเบื้อง: ใช้วิธีการสำหรับการแยกช่องว่างสถานะต่อเนื่องที่ช่วยให้การวางนัยทั่วไปดีขึ้น
• Deep Q-Network: สำรวจวิธีการใช้ Q-Network ลึก (DQN) เพื่อนำทางยานอวกาศโดยไม่ล้มเหลว
• หุ่นยนต์: ใช้ C ++ API เพื่อฝึกอบรมตัวแทนการเรียนรู้การเสริมแรงจากการจำลองหุ่นยนต์เสมือนจริงใน 3D ( ลิงค์ภายนอก )
• การปีนเขาฮิลล์: ใช้การปีนเขาด้วยเสียงรบกวนแบบปรับตัวเพื่อปรับสมดุลเสาบนรถเข็นที่เคลื่อนไหว
• วิธีการข้ามสายพันธุ์: ใช้วิธีการข้ามสายพันธุ์เพื่อฝึกอบรมรถยนต์เพื่อนำทางเนินเขาสูงชัน
• เสริมกำลัง: เรียนรู้วิธีการใช้การไล่ระดับนโยบายของ Monte Carlo เพื่อแก้ปัญหาการควบคุมแบบคลาสสิก
• การเพิ่มประสิทธิภาพนโยบายใกล้เคียง : สำรวจวิธีการใช้การเพิ่มประสิทธิภาพนโยบายใกล้เคียง (PPO) เพื่อแก้ปัญหาการเรียนรู้การเสริมแรงแบบคลาสสิก ( เร็วๆ นี้! )
• การไล่ระดับสีเชิงลึกที่กำหนดขึ้นอย่างลึกซึ้ง : สำรวจวิธีการใช้นโยบายการไล่ระดับสีที่กำหนดขึ้นอย่างลึกซึ้ง (DDPG) กับสภาพแวดล้อมการออกกำลังกาย OpenAI
  • ลูกตุ้ม: ใช้สภาพแวดล้อมลูกตุ้มของ Openai Gym
  • BipedalWalker: ใช้สภาพแวดล้อม bipedalwalker ของ Openai Gym
• การเงิน: ฝึกอบรมตัวแทนเพื่อค้นหากลยุทธ์การซื้อขายที่ดีที่สุด

ห้องปฏิบัติการ / โครงการ

ห้องปฏิบัติการและโครงการสามารถดูได้ด้านล่าง โครงการทั้งหมดใช้สภาพแวดล้อมการจำลองที่หลากหลายจาก Unity ML-Agent ในโปรแกรม Nanodegree การเรียนรู้การเสริมแรงอย่างลึกซึ้งคุณจะได้รับการตรวจสอบโครงการของคุณ บทวิจารณ์เหล่านี้มีไว้เพื่อให้ข้อเสนอแนะส่วนบุคคลและเพื่อบอกคุณว่าสิ่งที่สามารถปรับปรุงได้ในรหัสของคุณ

• ปัญหาแท็กซี่: ในห้องปฏิบัติการนี้คุณจะฝึกแท็กซี่เพื่อรับและส่งผู้โดยสาร
• การนำทาง: ในโครงการแรกคุณจะฝึกอบรมตัวแทนเพื่อรวบรวมกล้วยสีเหลืองในขณะที่หลีกเลี่ยงกล้วยสีน้ำเงิน
• การควบคุมอย่างต่อเนื่อง: ในโครงการที่สองคุณจะฝึกแขนหุ่นยนต์เพื่อไปยังตำแหน่งเป้าหมาย
• การทำงานร่วมกันและการแข่งขัน: ในโครงการที่สามคุณจะฝึกฝนตัวแทนคู่หนึ่งเพื่อเล่นเทนนิส!

ทรัพยากร

• Cheatsheet: คุณควรใช้ไฟล์ PDF นี้เพื่อเป็นแนวทางในการศึกษาการเรียนรู้การเสริมแรง

เกณฑ์มาตรฐาน Openai Gym

การควบคุมแบบคลาสสิก

• Acrobot-v1 พร้อมการเข้ารหัสกระเบื้องและ q-learning
• Cartpole-v0 พร้อมการปีนเขา แก้ไขใน 13 ตอน
• Cartpole-v0 พร้อมการเสริมกำลัง | แก้ไขใน 691 ตอน
• MountainCarContinuous-v0 ด้วยวิธีการข้ามสายไฟ | แก้ไขใน 47 การวนซ้ำ
• MountainCar-v0 ที่มี discretization grid grid และ q-learning | แก้ไขใน <50000 ตอน
• Pendulum-v0 ที่มีการไล่ระดับสีเชิงลึก (DDPG)

Box2D

• BipedalWalker-v2 ที่มีการไล่ระดับสีเชิงลึก (DDPG)
• CarRacing-v0 ด้วย Q-Networks ลึก (DQN) | เร็วๆ นี้!
• LunarLander-v2 พร้อม Q-Networks ลึก (DQN) | แก้ไขใน 1504 ตอน

ข้อความของเล่น

• FrozenLake-v0 พร้อมการเขียนโปรแกรมแบบไดนามิก
• Blackjack-v0 ด้วยวิธี Monte Carlo
• CliffWalking-v0 ด้วยวิธีการแตกต่างทางโลก

การพึ่งพาอาศัยกัน

ในการตั้งค่าสภาพแวดล้อม Python ของคุณเพื่อเรียกใช้รหัสในที่เก็บนี้ให้ทำตามคำแนะนำด้านล่าง

1. สร้าง (และเปิดใช้งาน) สภาพแวดล้อมใหม่ด้วย Python 3.6

   • Linux หรือ Mac :

   conda create --name drlnd python=3.6
   source activate drlnd

   • Windows :

   conda create --name drlnd python=3.6 
   activate drlnd

2. หากทำงานใน Windows ตรวจสอบให้แน่ใจว่าคุณมี "Build Tools for Visual Studio 2019" ที่ติดตั้งจากเว็บไซต์นี้ บทความนี้อาจมีประโยชน์มาก สิ่งนี้ได้รับการยืนยันว่าทำงานใน Windows 10 Home

3. ทำตามคำแนะนำในที่เก็บนี้เพื่อทำการติดตั้ง Openai Gym น้อยที่สุด

   • ถัดไปติดตั้งกลุ่มสภาพแวดล้อม การควบคุมแบบคลาสสิก โดยทำตามคำแนะนำที่นี่
   • จากนั้นติดตั้งกลุ่มสภาพแวดล้อม Box2D โดยทำตามคำแนะนำที่นี่

4. โคลนที่เก็บ (ถ้าคุณยังไม่ได้!) และนำทางไปยัง python/ Folder จากนั้นติดตั้งการพึ่งพาหลายครั้ง

   git clone https://github.com/udacity/deep-reinforcement-learning.git
   cd deep-reinforcement-learning/python
   pip install .

5. สร้างเคอร์เนล ipython สำหรับสภาพแวดล้อม drlnd

   python -m ipykernel install --user --name drlnd --display-name " drlnd "

6. ก่อนที่จะเรียกใช้รหัสในสมุดบันทึกให้เปลี่ยนเคอร์เนลเพื่อให้ตรงกับสภาพแวดล้อม drlnd โดยใช้เมนู Kernel แบบเลื่อนลง

ต้องการเรียนรู้เพิ่มเติมหรือไม่?

มาเรียนรู้กับเราในโปรแกรม Nanodegree ที่ได้รับการเสริมแรงอย่างลึกซึ้งที่ Udacity!