PPO PyTorch

PPO-Pytorch

Обновление [апрель 2021 г.]:

• объединенные дискретные и непрерывные алгоритмы
• Добавлен линейный распад для непрерывного пространства действия action_std ; Чтобы сделать обучение более стабильным для сложных средств
• Добавлены различные ставки обучения для актера и критика
• Эпизоды, временные рамки и вознаграждения в настоящее время вошли в файлы .csv
• Уточнения для графиков графика из файлов журнала
• Утильщики для тестирования и изготовления GIF -файлов из предварительных сетей
• PPO_colab.ipynb Сочетание всех файлов для обучения / тестирования / сюжетных графиков / создавать GIF-файлы в Google Colab в удобном Jupyter-Notebook

Откройте PPO_colab.ipynb в Google colab

Введение

Этот репозиторий обеспечивает минимальную реализацию Pytorch оптимизации проксимальной политики (PPO) с обрезанной целью для спортивных средств OpenAI. Он предназначен в первую очередь для начинающих в обучении подкреплению для понимания алгоритма ППО. Его все еще можно использовать для сложных сред, но может потребовать некоторую гиперпараметровую настройку или изменения в коде. Краткое объяснение алгоритма PPO можно найти здесь, и здесь можно найти тщательное объяснение всех деталей для реализации наиболее эффективного PPO (все еще не реализованы в этом репо).

Чтобы поддерживать процедуру обучения простой:

• Он имеет постоянное стандартное отклонение для распределения выходных действий ( многомерное нормальное с диагональной ковариационной матрицей ) для непрерывных сред, то есть он является гиперпараметром, а не обучаемым параметром. Тем не менее, это линейно разлагается . (action_std значительно влияет на производительность)
• Он использует простую оценку Монте-Карло для расчета преимуществ, а не общей оценки преимуществ (ознакомьтесь с реализацией OpenAI для этого).
• Это единственная реализация , то есть только один работник собирает опыт. Один из старших вилок этого хранилища был изменен, чтобы иметь параллельные работники

Использование

• Чтобы тренировать новую сеть: запустить train.py
• Чтобы проверить предварительную сеть: запустить test.py
• Для графиков графика с использованием файлов журнала: запустить plot_graph.py
• Сохранить изображения для GIF и сделать GIF, используя предварительную сеть: запустите make_gif.py
• Все параметры и гиперпарамтеры для контроля обучения / тестирования / графики / GIF -файлы находятся в соответствующем файле .py
• PPO_colab.ipynb объединяет все файлы в jupyter-notebook
• Все гиперпараметры, используемые для тренировочных (предварительно проведенных) политик, перечислены в README.md в каталоге PPO_PRETRINED

Примечание :

• Если среда работает на процессоре, используйте процессор в качестве устройства для более быстрого обучения. Box-2D и Roboschool работают на процессоре и обучают их на устройстве графического процессора будут значительно медленнее, поскольку данные часто будут перемещаться между процессором и графическим процессором

Цитируя

Пожалуйста, используйте этот Bibtex, если вы хотите привести этот репозиторий в своих публикациях:

 @misc{pytorch_minimal_ppo,
    author = {Barhate, Nikhil},
    title = {Minimal PyTorch Implementation of Proximal Policy Optimization},
    year = {2021},
    publisher = {GitHub},
    journal = {GitHub repository},
    howpublished = {url{https://github.com/nikhilbarhate99/PPO-PyTorch}},
}

Результаты

PPO непрерывный roboschoolhalfcheetah-V1	PPO непрерывный roboschoolhalfcheetah-V1

PPO непрерывный Roboschoolhopper-V1	PPO непрерывный Roboschoolhopper-V1

PPO непрерывный roboschoolwalker2d-V1	PPO непрерывный roboschoolwalker2d-V1

PPO непрерывный Bipedalwalker-V2	PPO непрерывный Bipedalwalker-V2

PPO дискретный Cartpole-V1	PPO дискретный Cartpole-V1

PPO Discrete Lunarlander-V2	PPO Discrete Lunarlander-V2

Зависимости

Обучен и протестирован на:

 Python 3
PyTorch
NumPy
gym

Учебная среда

 Box-2d
Roboschool
pybullet

Графики и гифки

 pandas
matplotlib
Pillow

Ссылки

• PPO бумага
• Openai вращается