stable baselines3 contrib

เสถียร -Baselines3-Contrib (SB3-Contrib)

แพ็คเกจ Contrib สำหรับ Baselines3 ที่มีเสถียรภาพ - รหัสการเรียนรู้เสริมแรงทดลอง (RL) "SB3-Contrib" สั้น

SB3-Contrib คืออะไร?

สถานที่สำหรับอัลกอริทึม RL และเครื่องมือที่ได้รับการพิจารณาการทดลองเช่นการใช้งานสิ่งพิมพ์ล่าสุด เป้าหมายคือการรักษาความเรียบง่ายเอกสารและรูปแบบของความเสถียรของเส้นผ่าศูนย์กลาง 3 แต่สำหรับการใช้งานที่ครบกำหนดน้อยกว่า

ทำไมต้องสร้างที่เก็บนี้

ในช่วงเวลาของเส้นผมที่มีเสถียรภาพและฐานที่มีเสถียรภาพ 3 ชุมชนมีความกระตือรือร้นที่จะมีส่วนร่วมในรูปแบบของระบบสาธารณูปโภคการตัดไม้ที่ดีขึ้นเครื่องห่อสิ่งแวดล้อมการสนับสนุนเพิ่มเติม (เช่นพื้นที่การกระทำที่แตกต่างกัน) และอัลกอริทึมการเรียนรู้

อย่างไรก็ตามบางครั้งยูทิลิตี้เหล่านี้มีช่องว่างเกินไปที่จะได้รับการพิจารณาสำหรับเส้นที่เสถียรหรือพิสูจน์แล้วว่ายากเกินไปที่จะรวมเข้ากับรหัสที่มีอยู่โดยไม่ต้องสร้างความยุ่งเหยิง SB3-Contrib มีจุดมุ่งหมายเพื่อแก้ไขปัญหานี้โดยไม่ต้องใช้การรวมรหัสที่เรียบร้อยกับรหัสที่มีอยู่และไม่ตั้งค่าขีด จำกัด ในสิ่งที่เป็นช่องเกินไป: เกือบทุกอย่างมีประโยชน์จากระยะไกล! เราหวังว่าสิ่งนี้จะช่วยให้เราสามารถนำเสนอการใช้งานที่เชื่อถือได้ตามมาตรฐานตามมาตรฐาน (สไตล์ที่สอดคล้องกันเอกสาร ฯลฯ ) นอกเหนือจากขอบเขตของยูทิลิตี้ที่ค่อนข้างเล็กในพื้นที่เก็บข้อมูลหลัก

คุณสมบัติ

ดูเอกสารสำหรับรายการคุณสมบัติทั้งหมดที่รวมอยู่

อัลกอริทึม RL :

• เพิ่มการค้นหาแบบสุ่ม (ARS)
• Quantile การถดถอย DQN (QR-DQN)
• PPO พร้อมการปิดบังแอ็คชั่นที่ไม่ถูกต้อง (maskableppo)
• PPO พร้อมนโยบายซ้ำ (RecurrentPPO AKA PPO LSTM)
• นักวิจารณ์ Quantile ที่ถูกตัดทอน (TQC)
• การเพิ่มประสิทธิภาพนโยบายภูมิภาค Trust (TRPO)
• การทำให้เป็นมาตรฐานเป็นชุดในการเรียนรู้การเสริมแรงลึก (CrossQ)

Wym Wrappers :

• Wrapper คุณสมบัติเวลา

เอกสาร

เอกสารสามารถใช้ได้ออนไลน์: https://sb3-contrib.readthedocs.io/

การติดตั้ง

ในการติดตั้ง Baselines3 Contrib ที่มีเสถียรภาพด้วย PIP ให้ดำเนินการ:

 pip install sb3-contrib

เราขอแนะนำให้ใช้ Baselines 3 รุ่น master

ในการติดตั้ง master Baselines3 ที่มีเสถียรภาพ:

 pip install git+https://github.com/DLR-RM/stable-baselines3

ในการติดตั้ง Baselines3 Contrib master เวอร์ชัน:

 pip install git+https://github.com/Stable-Baselines-Team/stable-baselines3-contrib

วิธีการมีส่วนร่วม

หากคุณต้องการมีส่วนร่วมโปรดอ่านคู่มือ MD ก่อน

อ้างถึงโครงการ

เพื่ออ้างถึงที่เก็บนี้ในสิ่งพิมพ์ (โปรดอ้างอิง SB3 โดยตรง):

 @article { stable-baselines3 ,
  author  = { Antonin Raffin and Ashley Hill and Adam Gleave and Anssi Kanervisto and Maximilian Ernestus and Noah Dormann } ,
  title   = { Stable-Baselines3: Reliable Reinforcement Learning Implementations } ,
  journal = { Journal of Machine Learning Research } ,
  year    = { 2021 } ,
  volume  = { 22 } ,
  number  = { 268 } ,
  pages   = { 1-8 } ,
  url     = { http://jmlr.org/papers/v22/20-1364.html }
}