muzero general

Muzero General

Прокомментированная и задокументированная реализация Muzero на основе бумаги Google DeepMind (Schrittwieser et al., Nov 2019) и связанного псевдокода. Он предназначен для того, чтобы быть легко адаптируемым для каждых игр или подкрепления обучения (например, в спортзале). Вам нужно только добавить файл игры с гиперпараметрами и классом игры. Пожалуйста, обратитесь к документации и примеру. Эта реализация в основном для образовательных целей.
Пояснительное видео о Музеро

Muzero - это современный алгоритм Art RL для настольных игр (шахматы, Go, ...) и Atari Games. Это преемник Alphazero, но без каких -либо знаний о среде, лежащей в основе динамики. Muzero изучает модель среды и использует внутреннее представление, которое содержит только полезную информацию для прогнозирования вознаграждения, стоимости, политики и переходов. Muzero также близок к сетям прогнозирования стоимости. Посмотрите, как это работает.

Функции

• Остаточная сеть и полностью подключенная сеть в Pytorch
• Многопоточный/асинхронный/кластер с Ray
• Поддержка мульти -графического процессора для обучения и самостоятельной работы
• Tensorboard в реальном времени мониторинг
• Веса модели автоматически сохранены на контрольно -пропускных пунктах
• Одиночный и два режима игрока
• Прокомментировано и задокументировано
• Легко адаптируется для новых игр
• Примеры настольных игр, тренажерный зал и игры атари (см. Список реализованных игр)
• Предварительные веса доступны
• Поддержка Windows (экспериментальный / обходной путь: используйте ноутбук в Google Colab)

Дальнейшие улучшения

Вот список функций, которые можно было бы добавить, но которые не находятся в бумаге Музеро. Мы открыты для вклада и других идей.

• Поиск гиперпараметра
• Пространство непрерывного действия
• Инструмент для понимания учентной модели
• Партия MCTS
• Поддержка более чем двух игр игроков

Демо

Все выступления отслеживаются и отображаются в режиме реального времени в Tensorboard:

Тестирование Лунного Сандера:

Игры уже реализованы

• Cartpole (протестирован с полностью подключенной сетью)
• Lunar Lander (протестирован в детерминированном режиме с полностью подключенной сетью)
• Gridworld (протестирован с полностью подключенной сетью)
• Tic-tac-toe (протестировано с полностью подключенной сетью и остаточной сетью)
• Connect4 (слегка протестирован с остаточной сетью)
• Гомоку
• Двадцать один / блэкджек (протестирован с остаточной сетью)
• Атари прорыв

Тесты выполняются на Ubuntu с 16 ГБ ОЗУ / Intel I7 / GTX 1050TI MAX-Q. Мы обязательно получили прогресс и уровень, который гарантирует, что он узнал. Но мы систематически не достигаем уровня человека. Для определенных среду мы замечаем регрессию через определенное время. Предлагаемые конфигурации, безусловно, не являются оптимальными, и мы пока не фокусируемся на оптимизации гиперпараметров. Любая помощь приветствуется.

Структура кода

Сводка сети:

Начиная

Установка

git clone https://github.com/werner-duvaud/muzero-general.git
cd muzero-general

pip install -r requirements.lock

Бегать

python muzero.py

Чтобы визуализировать результаты обучения, запустите в новом терминале:

tensorboard --logdir ./results

Конфигурация

Вы можете адаптировать конфигурации каждой игры, редактируя класс MuZeroConfig соответствующего файла в папке Games.

Связанная работа

• Effectiverze (Weirui Ye, Shaohuai Liu, Thanard Kurutach, Pieter Abbeel, Yang Gao)
• Выборочный Музеро (Томас Хьюберт, Джулиан Шритвизер, Иоаннис Антоноглу, Мохаммадамин Баркатайн, Саймон Шмитт, Дэвид Сильвер)

Авторы

• Вернер Дюво
• Аурель Хайнаут
• Пол Ленуар
• Участники

Пожалуйста, используйте этот Bibtex, если вы хотите привести этот репозиторий (Master Branch) в своих публикациях:

@misc{muzero-general,
  author       = {Werner Duvaud, Aurèle Hainaut},
  title        = {MuZero General: Open Reimplementation of MuZero},
  year         = {2019},
  publisher    = {GitHub},
  journal      = {GitHub repository},
  howpublished = { u rl{https://github.com/werner-duvaud/muzero-general}},
}

Участвовать

• Проблемы GitHub: для отчетности ошибок.
• Запросы на получение: для отправки взносов кода.
• Discord Server: для обсуждения разработки или любых общих вопросов.