muzero general

Muzero General

Une implémentation commentée et documentée de Muzero sur la base du document Google Deepmind (Schrittwieser et al., Novembre 2019) et du pseudocode associé. Il est conçu pour être facilement adaptable pour chaque jeu ou environnements d'apprentissage de renforcement (comme le gymnase). Il vous suffit d'ajouter un fichier de jeu avec les hyperparamètres et la classe de jeu. Veuillez vous référer à la documentation et à l'exemple. Cette mise en œuvre est principalement à des fins éducatives.
Vidéo explicative de Muzero

Muzero est un algorithme de pointe pour les jeux de société (Chess, Go, ...) et les jeux Atari. C'est le successeur d'Alphazero mais sans aucune connaissance de l'environnement sous-jacent à la dynamique. Muzero apprend un modèle de l'environnement et utilise une représentation interne qui ne contient que les informations utiles pour prédire la récompense, la valeur, la politique et les transitions. Muzero est également proche des réseaux de prédiction de valeur. Voyez comment cela fonctionne.

Caractéristiques

• Réseau résiduel et réseau entièrement connecté à Pytorch
• Multi-thread / asynchrone / grappe avec Ray
• Support multi-GPU pour la formation et l'auto-jeu
• Tensorboard Surveillance en temps réel
• Les poids du modèle sont automatiquement enregistrés aux points de contrôle
• Mode simple et deux joueurs
• Commenté et documenté
• Facilement adaptable pour les nouveaux jeux
• Exemples de jeux de société, de jeux de gym et d'Atari (voir la liste des jeux implémentés)
• Poids pré-entraînés disponibles
• Prise en charge de Windows (expérimental / solution de contournement: utilisez le ordinateur portable dans Google Colab)

Améliorations supplémentaires

Voici une liste de fonctionnalités qui pourraient être intéressantes à ajouter mais qui ne sont pas dans le papier de Muzero. Nous sommes ouverts aux contributions et à d'autres idées.

• Recherche d'hyperparamètre
• Espace d'action continue
• Outil pour comprendre le modèle savant
• Lot MCTS
• Support de plus de deux jeux de joueurs

Démo

Toutes les performances sont suivies et affichées en temps réel dans Tensorboard:

Test Lunar Lander:

Jeux déjà mis en œuvre

• Cartpole (testé avec le réseau entièrement connecté)
• Lunar Lander (testé en mode déterministe avec le réseau entièrement connecté)
• GridWorld (testé avec le réseau entièrement connecté)
• Tic-tac-toe (testé avec le réseau entièrement connecté et le réseau résiduel)
• Connect4 (légèrement testé avec le réseau résiduel)
• Gomoku
• Vingt et un / blackjack (testé avec le réseau résiduel)
• Breakout atari

Les tests sont effectués sur Ubuntu avec 16 Go de RAM / Intel i7 / GTX 1050ti Max-Q. Nous nous assurons d'obtenir une progression et un niveau qui garantit qu'il a appris. Mais nous n'atteignons pas systématiquement un niveau humain. Pour certains environnements, nous remarquons une régression après un certain temps. Les configurations proposées ne sont certainement pas optimales et nous ne nous concentrons pas pour l'instant sur l'optimisation des hyperparamètres. Toute aide est la bienvenue.

Structure de code

Résumé du réseau:

Commencer

Installation

git clone https://github.com/werner-duvaud/muzero-general.git
cd muzero-general

pip install -r requirements.lock

Courir

python muzero.py

Pour visualiser les résultats de la formation, exécutez un nouveau terminal:

tensorboard --logdir ./results

Configurer

Vous pouvez adapter les configurations de chaque jeu en modifiant la classe MuZeroConfig du fichier respectif dans le dossier des jeux.

Travaux connexes

• EfficientZero (Weirui Ye, Shaohuai Liu, Thanard Kurutach, Pieter Abbeel, Yang Gao)
• Échantillonné Muzero (Thomas Hubert, Julian Schrittwieser, Ioannis Antonoglou, Mohammadamin Barekatain, Simon Schmitt, David Silver)

Auteurs

• Werner Duvaud
• Aurèle Hainaut
• Paul Lenoir
• Contributeurs

Veuillez utiliser ce bibtex si vous souhaitez citer ce référentiel (branche principale) dans vos publications:

@misc{muzero-general,
  author       = {Werner Duvaud, Aurèle Hainaut},
  title        = {MuZero General: Open Reimplementation of MuZero},
  year         = {2019},
  publisher    = {GitHub},
  journal      = {GitHub repository},
  howpublished = { u rl{https://github.com/werner-duvaud/muzero-general}},
}

S'impliquer

• Problèmes de GitHub: pour signaler les bogues.
• Demandes de traction: pour soumettre des contributions de code.
• Discord Server: pour des discussions sur le développement ou toute question générale.