pytorch rl

Aprendizaje de refuerzo profundo en Pytorch

Este repositorio contiene todos los algoritmos RL sin modelos estándar y basados ​​en modelos (próximos) en Pytorch. (También puede contener algunas ideas de investigación en las que estoy trabajando actualmente)

Para la versión C ++ de Pytorch-Rl: Pytorch-RL-CPP

¿Qué es?

Pytorch-RL implementa algunos algoritmos de aprendizaje de refuerzo profundo de estado de arte en Pytorch, especialmente aquellos relacionados con espacios de acción continuos. Puede entrenar su algoritmo de manera eficiente en CPU o GPU. Además, Pytorch-RL trabaja con Operai Gym fuera de la caja. Esto significa que evaluar y jugar con diferentes algoritmos es fácil. Por supuesto, puede extender Pytorch-RL de acuerdo con sus propias necesidades. TL: DR: Pytorch-RL hace que sea realmente fácil ejecutar algoritmos de aprendizaje de refuerzo profundo de última generación.

Instalación

Instale Pytorch-RL de PYPI (recomendado):

PIP Instale Pytorch-Policy

Dependencias

1. Pytorch
2. Gimnasio (OpenAi)
3. Mujoco-Py (para la simulación de física y la robótica envía en el gimnasio)
4. Pybullet (próximamente)
5. MPI (solo compatible con la instalación de MPI Backend Pytorch)
6. TensorBoardX (https://github.com/lanpa/tensorboardx)

Algoritmos RL

1. DQN (con doble aprendizaje Q)
2. Ddpg
3. DDPG con ella (para los entornos de Fetch Operai)
4. Aprendizaje de refuerzo heirárquico
5. Experiencia priorizada de repetición + ddpg
6. DDPG con experiencia de experiencia retrospectiva priorizada (investigación)
7. Mapa neural con A3C (próximamente)
8. Rainbow DQN (próximamente)
9. PPO (https://github.com/ikostrikov/pytorch-a2c-ppo-acktr)
10. Ella con autocompresión por la sustitución de objetivos (investigación)
11. A3C (próximamente)
12. Acer (próximamente)
13. Darle
14. TDM
15. Modelos mundiales
16. Actor suave-crítico
17. Exploración impulsada por empoderamiento (implementación de TensorFlow: https://github.com/navneet-nmk/empowerment-driven-exploration)

Entornos

1. Fugarse
2. Pong (próximamente)
3. Tarea robótica de manipulación de la mano
4. Tarea robótica de alcance de alcance
5. Tarea robótica de alcance a mano
6. Tarea robótica de manipulación de bloque
7. La venganza de Montezuma (investigación actual)
8. Trampa
9. Gravitar
10. Carracería
11. Super Mario Bros (siga las instrucciones para instalar gimnasio-Retro https://github.com/openai/reto)
12. OpenSim Prosthetics NIPS Challenge (https://www.crowdai.org/challenges/nips-2018-ai-for-prosthetics-challenge)

Modelado de entorno (para exploración y adaptación de dominio)

Se han utilizado múltiples trucos de entrenamiento GaN debido a la inestabilidad en el entrenamiento de los generadores y discriminadores. Consulte https://github.com/soumith/ganhacks para obtener más información.

Incluso después de usar los trucos, fue realmente difícil entrenar a un ganador para convergencia. Sin embargo, después de usar la normalización espectral (https://arxiv.org/abs/1802.05957), el Infogan fue entrenado para convergencia.

Para las tareas de traducción de imagen a imagen con GANS y para VAE en general, el entrenamiento con la conexión Skip realmente ayuda a la capacitación.

1. beta
2. Infoguano
3. Cvae-gan
4. Modelos generativos basados ​​en flujo (investigación)
5. Sagan
6. Asistir secuencial, inferir, repetir
7. Exploración impulsada por la curiosidad
8. Parámetros de ruido espacial para exploración
9. Red ruidosa

Referencias

1. Jugando Atari con un aprendizaje de refuerzo profundo, Mnih et al., 2013
2. Control a nivel humano a través del aprendizaje de refuerzo profundo, Mnih et al., 2015
3. Aprendizaje de refuerzo profundo con doble Q-learning, Van Hasselt et al., 2015
4. Control continuo con aprendizaje de refuerzo profundo, Lillicrap et al., 2015
5. CVAE-Gan: Generación de imágenes de grano fino a través del entrenamiento asimétrico, Bao et al., 2017
6. Beta-Vae: Aprender conceptos visuales básicos con un marco variacional restringido, Higgins et al., 2017
7. Reproducción de experiencia en retrospectiva, Andrychowicz et al., 2017
8. Infogan: aprendizaje de representación interpretable mediante la información maximizando las redes de adversas generativas, Chen et al., 2016
9. Modelos mundiales, Ha et al., 2018
10. Normalización espectral para redes adversas generativas, Miyato et al., 2018
11. Autoatenidos Redes adversas generativas, Zhang et al., 2018
12. Exploración impulsada por la curiosidad por predicción auto-supervisada, Pathak et al., 2017
13. Actor suave-crítico: aprendizaje de refuerzo profundo de entropía máxima fuera de política con un actor estocástico, Haarnoja et al., 2018
14. Parámetros de ruido espacial para la exploración, Plappert et al., 2018
15. Red ruidosa para exploración, Fortunato et al., 2018
16. Algoritmos de optimización de políticas proximales, Schulman et al., 2017
17. Control no supervisado en tiempo real a través del empoderamiento variacional, Karl et al., 2017
18. Información mutua Estimación neuronal, Belghazi et al., 2018
19. Exploración impulsada por el empoderamiento utilizando la estimación de información mutua, Kumar et al., 2018