pytorch rl

Глубокое обучение подкреплению в Pytorch

Этот репозиторий содержит все стандартные алгоритмы RL на основе моделей и модели в Pytorch. (Может также содержать некоторые исследовательские идеи, над которыми я работаю в настоящее время)

Для C ++ версии Pytorch-RL: Pytorch-RL-CPP

Что это такое?

Pytorch-RL реализует некоторые современные алгоритмы обучения глубоким подкреплением в Pytorch, особенно тех, кто связан с непрерывными действиями. Вы можете эффективно обучить свой алгоритм либо на ЦП, либо в графическом процессоре. Кроме того, Pytorch-RL работает с Gym Openai Out из коробки. Это означает, что оценка и поиска с разными алгоритмами легко. Конечно, вы можете расширить Pytorch-RL в соответствии с вашими собственными потребностями. TL: DR: Pytorch-RL позволяет очень легко запустить современные алгоритмы обучения глубоким подкреплением.

Установка

Установите Pytorch-RL из PYPI (рекомендуется):

PIP установить Pytorch-Policy

Зависимости

1. Пирог
2. Тренажерный зал (OpenAI)
3. Mujoco-Py (для симуляции физики и Env Robotics в тренажерном зале)
4. Pybullet (скоро)
5. MPI (поддерживается только с помощью MPI Backend Pytorch Install)
6. Tensorboardx (https://github.com/lanpa/tensorboardx)

Алгоритмы RL

1. DQN (с двойным Q Learning)
2. DDPG
3. DDPG с ней (для среды Openai Fetch)
4. HEIRARCHICAL ARTERMARCIONS LEASION
5. Приоритетный опыт воспроизведение + ddpg
6. DDPG с приоритетным задним опытом воспроизведения (исследования)
7. Нейронная карта с A3C (скоро)
8. Rainbow DQN (скоро)
9. PPO (https://github.com/ikostrikov/pytorch-a2c-ppo-acktr)
10. Она с самообещающим вниманием к замене цели (исследование)
11. A3C (скоро)
12. Застенчивый (скоро)
13. Дарла
14. TDM
15. Мировые модели
16. Мягкий актер-критик
17. Расследование по расширению прав и возможностей (реализация TensorFlow: https://github.com/navneet-nmk/empowerment-diven-exploration)

Среда

1. Разразиться
2. Понг (скоро)
3. Роботизированная задача ручной манипуляции
4. Задача робота из-за извлечения
5. Роботизированная задача ручной работы
6. Блок манипулирования роботизированной задачей
7. Месть Монтесумы (текущее исследование)
8. Ловушка
9. Гравитар
10. Перевозка
11. Super Mario Bros (следуйте инструкциям по установке Gym-Retro https://github.com/openai/retro)
12. OpenSim Prosthetics Nips Challenge (https://www.crowdai.org/challenges/nips-2018-ai-for-prosthetics-challenge)

Моделирование окружающей среды (для разведки и адаптации доменов)

Многочисленные тренировочные трюки GAN использовались из -за нестабильности в обучении генераторов и дискриминаторов. Пожалуйста, обратитесь к https://github.com/soumith/ganhacks для получения дополнительной информации.

Даже после использования трюков было действительно трудно тренировать Gan к конвергенции. Однако после использования спектральной нормализации (https://arxiv.org/abs/1802.05957) инфоган был обучен сходимости.

Для задач перевода изображения с изображением с Gans и для VAE в целом тренировка с Skip Connection действительно помогает обучению.

1. бета-вар
2. Infogan
3. Cvae-gan
4. Генеративные модели на основе потока (исследования)
5. Саган
6. Последовательное посещение, вывод, повторить
7. Исследование, вызванное любопытством
8. Параметр пространственного шума для исследования
9. Шумная сеть

Ссылки

1. Играя в Атари с глубоким подкреплением, Mnih et al., 2013
2. Контроль на уровне человека через обучение глубокому подкреплению, Mnih et al., 2015
3. Глубокое обучение подкреплению с двойным Q-обучением, Van Hasselt et al., 2015
4. Непрерывный контроль с глубоким обучением подкрепления, Lillicrap et al., 2015
5. CVAE-GAN: мелкозернистая генерация изображений через асимметричную тренировку, Bao et al., 2017
6. Beta-Vae: изучение основных визуальных концепций с ограниченной вариационной структурой, Higgins et al., 2017
7. Опыт повторяется, Andrychowicz et al., 2017
8. Infogan: Интерпретируемое обучение представлений с помощью информации максимизирует генеративные состязательные сети, Chen et al., 2016
9. World Models, Ha et al., 2018
10. Спектральная нормализация для генеративных состязательных сетей, Miyato et al., 2018
11. Самоализация генеративных состязательных сетей, Zhang et al., 2018
12. Исследование, основанное на любопытства с помощью самоотверженного прогноза, Pathak et al., 2017
13. Мягкий актер-критик: максимальная энтропия в вне политики.
14. Параметр Пространственный шум для разведки, Plappert et al., 2018
15. Noisy Network for Exploration, Fortunato et al., 2018
16. Алгоритмы оптимизации проксимальной политики, Schulman et al., 2017
17. Неконтролируемый контроль в режиме реального времени через вариационные возможности, Karl et al., 2017
18. Нейронная оценка взаимной информации, Belghazi et al., 2018
19. Расследование, управляемое возможностями, с использованием оценки взаимной информации, Kumar et al., 2018