PPO PyTorch

Ppo-pytorch

Actualización [abril de 2021]:

• Algoritmos discretos y continuos fusionados
• Se agregó descomposición lineal para el espacio continuo de acción action_std ; Para hacer que el entrenamiento sea más estable para entornos complejos
• Se agregó diferentes tasas de aprendizaje para actores y críticos
• Los episodios, el tiempo de tiempo y las recompensas ahora se registran en archivos .csv
• Utils para trazar gráficos de archivos de registro
• Utiliza para probar y hacer GIF a partir de redes previos a la aparición
• PPO_colab.ipynb Combinando todos los archivos para entrenar / probar / trazar gráficos / hacer gifs en Google Colab en un conveniente Jupyter-Notebook

Abra PPO_colab.ipynb en Google Colab

Introducción

Este repositorio proporciona una implementación mínima de Pytorch de la optimización de políticas proximales (PPO) con el objetivo recortado para entornos de gimnasio OpenAI. Está destinado principalmente a principiantes en el aprendizaje de refuerzo para comprender el algoritmo PPO. Todavía se puede usar para entornos complejos, pero puede requerir algunos ajustes o cambios de hiperparameter en el código. Aquí se puede encontrar una explicación concisa del algoritmo PPO y una explicación exhaustiva de todos los detalles para implementar el PPO de mejor rendimiento se puede encontrar aquí (todos aún no se implementan en este repositorio).

Para mantener el procedimiento de capacitación simple:

• Tiene una desviación estándar constante para la distribución de acción de salida ( multivariante normal con matriz de covarianza diagonal ) para los entornos continuos, es decir, es un hiperparámetro y no un parámetro entrenable. Sin embargo, se descompone linealmente . (Action_std afecta significativamente el rendimiento)
• Utiliza una estimación simple de Monte-Carlo para calcular ventajas y no una estimación de ventaja generalizada (consulte la implementación de Spinning Up para eso).
• Es una implementación de un solo enhebrado , es decir, solo un trabajador recopila experiencia. Una de las horquillas más antiguas de este repositorio ha sido modificado para tener trabajadores paralelos

Uso

• Para entrenar una nueva red: ejecutar train.py
• Para probar una red preventiva: ejecutar test.py
• Para trazar gráficos usando archivos de registro: ejecutar plot_graph.py
• Para guardar las imágenes para GIF y hacer GIF usando una red previa a la aparición: ejecutar make_gif.py
• Todos los parámetros e hiperparamters para controlar el entrenamiento / pruebas / gráficos / gifs están en su archivo .py respectivo
• PPO_colab.ipynb Combina todos los archivos en un Notebook Jupyter
• Todos los hiperparámetros utilizados para las políticas de entrenamiento (previamente) se enumeran en el directorio README.md en el directorio PPO_PreTiened

Nota :

• Si el entorno se ejecuta en CPU, use CPU como dispositivo para una capacitación más rápida. Box-2D y Roboschool se ejecutan en CPU y entrenarlos en el dispositivo GPU serán significativamente más lentos porque los datos se moverán entre CPU y GPU a menudo

Citando

Utilice este bibtex si desea citar este repositorio en sus publicaciones:

 @misc{pytorch_minimal_ppo,
    author = {Barhate, Nikhil},
    title = {Minimal PyTorch Implementation of Proximal Policy Optimization},
    year = {2021},
    publisher = {GitHub},
    journal = {GitHub repository},
    howpublished = {url{https://github.com/nikhilbarhate99/PPO-PyTorch}},
}

Resultados

PPO Continuo RoboschoolhalfCheetah-V1	PPO Continuo RoboschoolhalfCheetah-V1

PPO Roboschoolhopper-V1	PPO Roboschoolhopper-V1

PPO Continuo Roboschoolwalker2d-V1	PPO Continuo Roboschoolwalker2d-V1

PPO Bipedalwalker-V2	PPO Bipedalwalker-V2

PPO Cartpole-V1	PPO Cartpole-V1

PPO DISCRETO LUNARLANDER-V2	PPO DISCRETO LUNARLANDER-V2

Dependencias

Entrenado y probado en:

 Python 3
PyTorch
NumPy
gym

Entornos de capacitación

 Box-2d
Roboschool
pybullet

Gráficos y gifs

 pandas
matplotlib
Pillow

Referencias

• Papel PPO
• Openai girando