Unduh muzero general - Unduh Kode Sumber muzero general

muzero general

ular piton

1.0.0

Unduh

Muzero General

Implementasi Muzero yang dikomentari dan didokumentasikan berdasarkan kertas Google DeepMind (Schrittwieser et al., Nov 2019) dan pseudocode terkait. Ini dirancang agar mudah beradaptasi untuk setiap game atau lingkungan belajar penguatan (seperti gym). Anda hanya perlu menambahkan file game dengan hyperparameters dan kelas game. Silakan merujuk ke dokumentasi dan contohnya. Implementasi ini terutama untuk tujuan pendidikan.
Video Penjelasan Muzero

Muzero adalah algoritma canggih RL untuk permainan papan (catur, go, ...) dan atari game. Ini adalah penerus Alphazero tetapi tanpa sepengetahuan lingkungan yang mendasari dinamika. Muzero mempelajari model lingkungan dan menggunakan representasi internal yang hanya berisi informasi yang berguna untuk memprediksi hadiah, nilai, kebijakan, dan transisi. Muzero juga dekat dengan jaringan prediksi nilai. Lihat cara kerjanya.

Fitur

Perbaikan lebih lanjut

Berikut adalah daftar fitur yang bisa menarik untuk ditambahkan tetapi yang tidak ada di koran Muzero. Kami terbuka untuk kontribusi dan ide -ide lainnya.

Pencarian hyperparameter
Ruang Tindakan Berkelanjutan
Alat untuk memahami model yang dipelajari
Batch MCTS
Dukungan lebih dari dua permainan pemain

Demo

Semua pertunjukan dilacak dan ditampilkan secara real time di Tensorboard:

Ringkasan pelatihan kartpol

Menguji Lunar Lander:

Pratinjau Pelatihan Lunarlander

Game sudah diterapkan

Cartpole (diuji dengan jaringan yang sepenuhnya terhubung)
Lunar lander (diuji dalam mode deterministik dengan jaringan yang terhubung sepenuhnya)
GridWorld (diuji dengan jaringan yang sepenuhnya terhubung)
Tic-tac-toe (diuji dengan jaringan yang sepenuhnya terhubung dan jaringan residual)
Connect4 (sedikit diuji dengan jaringan residual)
Gomoku
Dua puluh satu / blackjack (diuji dengan jaringan residual)
Breakout Atari

Tes dilakukan pada Ubuntu dengan 16 GB RAM / Intel I7 / GTX 1050Ti Max-Q. Kami memastikan untuk mendapatkan perkembangan dan tingkat yang memastikan bahwa ia telah dipelajari. Tetapi kami tidak secara sistematis mencapai tingkat manusia. Untuk lingkungan tertentu, kami melihat regresi setelah waktu tertentu. Konfigurasi yang diusulkan tentu tidak optimal dan kami tidak fokus sekarang pada optimalisasi hiperparameter. Bantuan apa pun diterima.

Struktur kode

struktur kode

Ringkasan Jaringan:

Memulai

Instalasi

git clone https://github.com/werner-duvaud/muzero-general.git
cd muzero-general

pip install -r requirements.lock

Berlari

python muzero.py

Untuk memvisualisasikan hasil pelatihan, jalankan di terminal baru:

tensorboard --logdir ./results

Konfigurasi

Anda dapat mengadaptasi konfigurasi setiap game dengan mengedit kelas MuZeroConfig dari file masing -masing di folder game.

Pekerjaan terkait

Efficientzero (Weirui Ye, Shaohuai Liu, Thanard Kurutach, Pieter Abbeel, Yang Gao)
Sampled Muzero (Thomas Hubert, Julian Schrittwieser, Ioannis Antonoglou, Mohammadamin Barekatain, Simon Schmitt, David Silver)

Penulis

Werner Duvaud
Aurèle Hainut
Paul Lenoir
Kontributor

Silakan gunakan Bibtex ini jika Anda ingin mengutip repositori ini (cabang master) di publikasi Anda:

@misc{muzero-general,
  author       = {Werner Duvaud, Aurèle Hainaut},
  title        = {MuZero General: Open Reimplementation of MuZero},
  year         = {2019},
  publisher    = {GitHub},
  journal      = {GitHub repository},
  howpublished = { u rl{https://github.com/werner-duvaud/muzero-general}},
}