AlphaZero_Gomoku

Alphazero-Gomoku

นี่คือการใช้อัลกอริทึม Alphazero สำหรับการเล่นเกมกระดานง่าย ๆ Gomoku (เรียกอีกอย่างว่า Gobang หรือ Five ติดต่อกัน) จากการฝึกเล่นด้วยตนเองอย่างบริสุทธิ์ เกม Gomoku นั้นง่ายกว่า Go หรือหมากรุกมากเพื่อให้เราสามารถมุ่งเน้นไปที่รูปแบบการฝึกอบรมของ Alphazero และได้รับ AI รุ่นที่ค่อนข้างดีบนพีซีเครื่องเดียวในเวลาไม่กี่ชั่วโมง

ข้อมูลอ้างอิง:

1. Alphazero: Mastering Chess และ Shogi โดยการเล่นด้วยตนเองด้วยอัลกอริทึมการเรียนรู้การเสริมแรงทั่วไป
2. Alphago Zero: การเรียนรู้เกมของ Go โดยปราศจากความรู้ของมนุษย์

อัปเดต 2018.2.24: รองรับการฝึกอบรมด้วย TensorFlow!

อัปเดต 2018.1.17: สนับสนุนการฝึกอบรมกับ Pytorch!

ตัวอย่างเกมระหว่างรุ่นที่ผ่านการฝึกอบรม

• แต่ละการเคลื่อนไหวด้วย playouts 400 mcts:
  

ความต้องการ

ในการเล่นกับโมเดล AI ที่ผ่านการฝึกอบรมเพียงต้องการเท่านั้น:

• Python> = 2.7
• numpy> = 1.11

ในการฝึกอบรมโมเดล AI ตั้งแต่เริ่มต้นความต้องการเพิ่มเติมเช่นกัน:

• Theano> = 0.7 และ Lasagne> = 0.1
  หรือ
• pytorch> = 0.2.0
  หรือ
• เทนเซอร์โฟลว์

PS : หากเวอร์ชันของคุณ> 0.7 โปรดติดตามปัญหานี้เพื่อติดตั้ง Lasagne
มิฉะนั้นบังคับให้ pip เพื่อลดระดับ Theano เป็น 0.7 pip install --upgrade theano==0.7.0

หากคุณต้องการฝึกอบรมแบบจำลองโดยใช้เฟรมเวิร์ก DL อื่น ๆ คุณจะต้องเขียน policy_value_net.py ใหม่เท่านั้น

เริ่มต้น

หากต้องการเล่นกับโมเดลที่ให้ไว้ให้เรียกใช้สคริปต์ต่อไปนี้จากไดเรกทอรี:

 python human_play.py  

คุณสามารถปรับเปลี่ยน human_play.py เพื่อลองใช้รุ่นที่แตกต่างกันหรือ MCT บริสุทธิ์

ในการฝึกอบรมโมเดล AI ตั้งแต่เริ่มต้นด้วย Theano และ Lasagne ทำงานโดยตรง:

 python train.py

ด้วย pytorch หรือ tensorflow ก่อนอื่นแก้ไขไฟล์ train.py, IE แสดงความคิดเห็นบรรทัด

 from policy_value_net import PolicyValueNet  # Theano and Lasagne

และไม่ทำให้ไม่รู้สึกถึงบรรทัด

 # from policy_value_net_pytorch import PolicyValueNet  # Pytorch
or
# from policy_value_net_tensorflow import PolicyValueNet # Tensorflow

จากนั้นดำเนินการ: python train.py (เพื่อใช้ GPU ใน pytorch ให้ตั้งค่า use_gpu=True และใช้ return loss.item(), entropy.item() ในฟังก์ชั่น train_step ใน policy_value_net_pytorch.py ถ้ารุ่น pytorch ของคุณมากกว่า 0.5)

โมเดล (best_policy.model และ current_policy.model) จะถูกบันทึกทุกการอัปเดตไม่กี่ (ค่าเริ่มต้น 50)

หมายเหตุ: โมเดล 4 รุ่นที่ได้รับการฝึกฝนโดยใช้ Theano/Lasagne เพื่อใช้กับ Pytorch โปรดดูฉบับที่ 5

เคล็ดลับสำหรับการฝึกอบรม:

1. เป็นการดีที่จะเริ่มต้นด้วยบอร์ด 6 * 6 และ 4 ในแถว สำหรับกรณีนี้เราอาจได้รับโมเดลที่ดีพอสมควรภายใน 500 ~ 1,000 เกมเล่นเองในเวลาประมาณ 2 ชั่วโมง
2. สำหรับกรณีของบอร์ด 8 * 8 และ 5 ในแถวมันอาจต้องใช้เกมเล่นเอง 2,000 ~ 3000 เพื่อให้ได้รูปแบบที่ดีและอาจใช้เวลาประมาณ 2 วันในพีซีเครื่องเดียว

การอ่านเพิ่มเติม

บทความของฉันอธิบายรายละเอียดบางอย่างเกี่ยวกับการดำเนินการเป็นภาษาจีน: https://zhuanlan.zhihu.com/p/32089487