ดาวน์โหลด muzero general - muzero general Source Download

muzero general

หลาม

1.0.0

ดาวน์โหลด

Muzero General

การใช้งานที่แสดงความคิดเห็นและจัดทำเอกสารของ Muzero ตามกระดาษ Google DeepMind (Schrittwieser et al., Nov 2019) และ Pseudocode ที่เกี่ยวข้อง มันถูกออกแบบมาให้ปรับตัวได้ง่ายสำหรับทุกเกมหรือสภาพแวดล้อมการเรียนรู้การเสริมแรง (เช่นยิม) คุณจะต้องเพิ่มไฟล์เกมด้วย HyperParameters และคลาสเกม โปรดดูเอกสารและตัวอย่าง การดำเนินการนี้มีวัตถุประสงค์เพื่อการศึกษาเป็นหลัก
วิดีโออธิบายของ Muzero

Muzero เป็นอัลกอริทึมที่ทันสมัยของศิลปะ RL สำหรับเกมกระดาน (Chess, Go, ... ) และ Atari Games มันเป็นผู้สืบทอดต่อ Alphazero แต่ไม่มีความรู้เกี่ยวกับสภาพแวดล้อมที่มีพลวัต Muzero เรียนรู้รูปแบบของสภาพแวดล้อมและใช้การเป็นตัวแทนภายในที่มีเฉพาะข้อมูลที่เป็นประโยชน์สำหรับการทำนายรางวัลมูลค่านโยบายและการเปลี่ยนแปลง Muzero ยังใกล้เคียงกับเครือข่ายการทำนายมูลค่า ดูว่ามันทำงานอย่างไร

คุณสมบัติ

การปรับปรุงเพิ่มเติม

นี่คือรายการของคุณสมบัติที่น่าสนใจที่จะเพิ่ม แต่ไม่ได้อยู่ในกระดาษของ Muzero เราเปิดรับการมีส่วนร่วมและแนวคิดอื่น ๆ

การค้นหา hyperparameter
พื้นที่แอ็คชั่นต่อเนื่อง
เครื่องมือในการทำความเข้าใจรูปแบบที่เรียนรู้
แบตช์ MCTS
สนับสนุนเกมผู้เล่นมากกว่าสองเกม

การสาธิต

การแสดงทั้งหมดจะถูกติดตามและแสดงแบบเรียลไทม์ใน Tensorboard:

สรุปการฝึกอบรม Cartpole

การทดสอบ Lunar Lander:

ตัวอย่างการฝึกอบรม Lunarlander

เกมที่ใช้งานแล้ว

cartpole (ทดสอบกับเครือข่ายที่เชื่อมต่ออย่างสมบูรณ์)
Lunar Lander (ทดสอบในโหมดกำหนดด้วยเครือข่ายที่เชื่อมต่ออย่างสมบูรณ์)
GridWorld (ทดสอบกับเครือข่ายที่เชื่อมต่ออย่างสมบูรณ์)
tic-tac-toe (ทดสอบกับเครือข่ายที่เชื่อมต่ออย่างสมบูรณ์และเครือข่ายที่เหลือ)
Connect4 (ทดสอบเล็กน้อยกับเครือข่ายที่เหลือ)
โกโมกุ
ยี่สิบเอ็ด / แบล็คแจ็ค (ทดสอบกับเครือข่ายที่เหลือ)
Atari Breakout

การทดสอบจะทำบน Ubuntu ด้วย RAM 16 GB / Intel I7 / GTX 1050Ti Max-Q เราตรวจสอบให้แน่ใจว่าได้รับความก้าวหน้าและระดับที่ทำให้มั่นใจได้ว่าได้เรียนรู้ แต่เราไม่สามารถเข้าถึงระดับมนุษย์ได้อย่างเป็นระบบ สำหรับสภาพแวดล้อมบางอย่างเราสังเกตเห็นการถดถอยหลังจากผ่านไประยะเวลาหนึ่ง การกำหนดค่าที่เสนอนั้นไม่ได้ดีที่สุดอย่างแน่นอนและเราไม่ได้มุ่งเน้นไปที่การเพิ่มประสิทธิภาพของพารามิเตอร์ hyperparameters ยินดีต้อนรับความช่วยเหลือใด ๆ

โครงสร้างรหัส

สรุปเครือข่าย:

เริ่มต้น

การติดตั้ง

git clone https://github.com/werner-duvaud/muzero-general.git
cd muzero-general

pip install -r requirements.lock

วิ่ง

python muzero.py

เพื่อให้เห็นภาพผลการฝึกอบรมให้ทำงานในเทอร์มินัลใหม่:

tensorboard --logdir ./results

การกำหนดค่า

คุณสามารถปรับการกำหนดค่าของแต่ละเกมได้โดยการแก้ไขคลาส MuZeroConfig ของไฟล์ที่เกี่ยวข้องในโฟลเดอร์เกม

งานที่เกี่ยวข้อง

Efficientzero (Weirui Ye, Shaohuai Liu, Thanard Kurutach, Pieter Abbeel, Yang Gao)
ตัวอย่าง Muzero (Thomas Hubert, Julian Schrittwieser, Ioannis Antonoglou, Mohammadamin Barekatain, Simon Schmitt, David Silver)

ผู้เขียน

Werner Duvaud
Aurèle Hainaut
Paul Lenoir
ผู้มีส่วนร่วม

โปรดใช้ bibtex นี้หากคุณต้องการอ้างอิงพื้นที่เก็บข้อมูลนี้ (สาขาหลัก) ในสิ่งพิมพ์ของคุณ:

@misc{muzero-general,
  author       = {Werner Duvaud, Aurèle Hainaut},
  title        = {MuZero General: Open Reimplementation of MuZero},
  year         = {2019},
  publisher    = {GitHub},
  journal      = {GitHub repository},
  howpublished = { u rl{https://github.com/werner-duvaud/muzero-general}},
}