muzero general

MuZero General

Uma implementação comentada e documentada do Muzero, com base no artigo do Google DeepMind (Schrittwieser et al., Nov 2019) e no pseudocódigo associado. Ele foi projetado para ser facilmente adaptável para todos os jogos ou ambientes de aprendizado de reforço (como a academia). Você só precisa adicionar um arquivo de jogo com os hyperparameters e a aula de jogo. Consulte a documentação e o exemplo. Esta implementação é principalmente para fins educacionais.
Vídeo explicativo de muzero

MuZero é um algoritmo de última geração para jogos de tabuleiro (xadrez, vá, ...) e jogos Atari. É o sucessor de Alphazero, mas sem nenhum conhecimento do ambiente subjacente à dinâmica. A MuZero aprende um modelo do ambiente e usa uma representação interna que contém apenas as informações úteis para prever a recompensa, valor, política e transições. O MuZero também está próximo das redes de previsão de valor. Veja como funciona.

Características

• Rede residual e rede totalmente conectada em Pytorch
• Multi-thread/assíncrono/cluster com raio
• Suporte multi -GPU para o treinamento e o auto -jogo
• Monitoramento em tempo real em tempo real
• Pesos do modelo salvos automaticamente nos pontos de verificação
• Modo único e dois jogadores
• Comentou e documentou
• Facilmente adaptável para novos jogos
• Exemplos de jogos de tabuleiro, ginástica e jogos Atari (veja a lista de jogos implementados)
• Pesos pré -tenhados disponíveis
• Suporte ao Windows (solução experimental / alternativa: use o notebook no Google Colab)

Melhorias adicionais

Aqui está uma lista de recursos que podem ser interessantes para adicionar, mas que não estão no papel de Muzero. Estamos abertos a contribuições e outras idéias.

• Pesquisa de hiperparâmetro
• Espaço de ação contínuo
• Ferramenta para entender o modelo instruído
• McTs em lote
• Apoio a mais de dois jogos de jogadores

Demonstração

Todas as performances são rastreadas e exibidas em tempo real em Tensorboard:

Testando Lunar Lander:

Jogos já implementados

• Cartpole (testado com a rede totalmente conectada)
• Lander Lunar (testado no modo determinístico com a rede totalmente conectada)
• Gridworld (testado com a rede totalmente conectada)
• TIC-TAC-TOE (testado com a rede totalmente conectada e a rede residual)
• Connect4 (ligeiramente testado com a rede residual)
• Gomoku
• Vinte e um / Blackjack (testado com a rede residual)
• Atari Breakout

Os testes são feitos no Ubuntu com 16 GB de RAM / Intel i7 / GTX 1050TI Max-Q. Certificamos -se de obter uma progressão e um nível que garante que ele tenha aprendido. Mas não atingimos sistematicamente um nível humano. Para certos ambientes, notamos uma regressão após um certo tempo. As configurações propostas certamente não são ideais e não nos concentramos agora na otimização de hiperparâmetros. Qualquer ajuda é bem -vinda.

Estrutura de código

Resumo da rede:

Começando

Instalação

git clone https://github.com/werner-duvaud/muzero-general.git
cd muzero-general

pip install -r requirements.lock

Correr

python muzero.py

Para visualizar os resultados do treinamento, executado em um novo terminal:

tensorboard --logdir ./results

Config

Você pode adaptar as configurações de cada jogo editando a classe MuZeroConfig do respectivo arquivo na pasta Games.

Trabalho relacionado

• Eficientezinho (Weirui Ye, Shaohuai Liu, Thanard Kurutach, Pieter Abbeel, Yang Gao)
• Amostrado muzero (Thomas Hubert, Julian Schrittwieser, Ioannis Antonoglou, Mohammadamin Barekatain, Simon Schmitt, David Silver)

Autores

• Werner Duvaud
• Aurèle Hainaut
• Paul Lenoir
• Colaboradores

Por favor, use este Bibtex se você deseja citar este repositório (filial mestre) em suas publicações:

@misc{muzero-general,
  author       = {Werner Duvaud, Aurèle Hainaut},
  title        = {MuZero General: Open Reimplementation of MuZero},
  year         = {2019},
  publisher    = {GitHub},
  journal      = {GitHub repository},
  howpublished = { u rl{https://github.com/werner-duvaud/muzero-general}},
}

Envolver -se

• Problemas do GitHub: para relatar bugs.
• Solicitações de puxar: para enviar contribuições de código.
• Discord Server: para discussões sobre desenvolvimento ou perguntas gerais.