pytorch rl

Tiefes Verstärkungslernen im Pytorch

Dieses Repository enthält alle modellfreien Standard- und modellbasierten (kommenden) RL-Algorithmen in Pytorch. (Kann auch einige Forschungsideen enthalten, an denen ich derzeit arbeite)

Für C ++-Version von Pytorch-RL: Pytorch-RL-CPP

Was ist das?

Pytorch-Rl implementiert einige hochmoderne Algorithmen für die tiefe Verstärkung in Pytorch, insbesondere diejenigen, die sich mit kontinuierlichen Handlungsräumen befassen. Sie können Ihren Algorithmus entweder auf CPU oder GPU effizient trainieren. Darüber hinaus arbeitet Pytorch-Rl mit Openai Gym von Out of the Box zusammen. Dies bedeutet, dass die Bewertung und das Herumspielen mit verschiedenen Algorithmen einfach ist. Natürlich können Sie Pytorch-Rl entsprechend Ihren eigenen Bedürfnissen erweitern. TL: DR: Pytorch-RL erleichtert es wirklich einfach, hochmoderne Algorithmen für die Verstärkung zu führen.

Installation

Installieren Sie Pytorch-RL von PYPI (empfohlen):

PIP Installieren Sie Pytorch-Policy

Abhängigkeiten

1. Pytorch
2. Fitnessstudio (OpenAI)
3. Mujoco-Py (für die Physiksimulation und die Robotikum im Fitnessstudio)
4. Pybullet (bald kommt)
5. MPI (nur mit MPI -Backend -Pytorch -Installation unterstützt)
6. Tensorboardx (https://github.com/lanpa/tensorboardx)

RL -Algorithmen

1. DQN (mit Doppel -Q -Lernen)
2. DDPG
3. DDPG mit ihr (für die OpenAI -Fetch -Umgebungen)
4. Heirarchische Verstärkung
5. Priorisierte Erfahrung Wiederholung + DDPG
6. DDPG mit priorisierter Nachblicke -Wiederholung (Forschung)
7. Neuronale Karte mit A3C (bald kommt)
8. Rainbow DQN (bald kommt)
9. PPO (https://github.com/ikostrikov/pytorch-a2c-ppo-acktr)
10. Sie mit Selbstaufmerksamkeit für die Zielsubstitution (Forschung)
11. A3C (bald kommt)
12. Acer (bald kommt)
13. Darla
14. Tdm
15. Weltmodelle
16. Weicher Schauspielerkritiker
17. Empowerment-gesteuerte Exploration (TensorFlow-Implementierung: https://github.com/navneet-nmk/empowerment-driven-ploration)

Umgebungen

1. Ausbruch
2. Pong (bald kommt)
3. Handmanipulation Roboteraufgabe
4. Roboteraufgabe abrufen
5. Handreicher Roboteraufgabe
6. Blockmanipulation Roboteraufgabe blockieren
7. Montezumas Rache (aktuelle Forschung)
8. Falle
9. Gravar
10. Tragkraft
11. Super Mario Bros (Befolgen Sie die Anweisungen zur Installation von Fitnessstudio-Retro https://github.com/openai/retro)
12. OpenSim Prothetics NIPS Challenge (https://www.crowdai.org/challenges/nips-2018-ai-for-prosthetics-chalenge)

Umgebungsmodellierung (zur Erforschung und Domänenanpassung)

Aufgrund der Instabilität bei der Ausbildung der Generatoren und Diskriminatoren wurden mehrere GaN -Trainingstricks verwendet. Weitere Informationen finden Sie unter https://github.com/soumith/ganhacks.

Auch nach dem Einsatz der Tricks war es wirklich schwierig, einen Gan zur Konvergenz zu trainieren. Nach Verwendung der spektralen Normalisierung (https://arxiv.org/abs/1802.05957) wurde der Infogan jedoch zur Konvergenz geschult.

Für Bild -zu -Bild -Übersetzungsaufgaben mit Gans und für Vaes im Allgemeinen hilft das Training mit Skip Connection wirklich dem Training.

1. Beta-vae
2. Infogan
3. CVAE-GAN
4. Flow -basierte generative Modelle (Forschung)
5. Sagan
6. Sequentielle Teilnahme, abschließen, wiederholen
7. Neugierde Erkundung
8. Parameterraum Rauschen für die Erkundung
9. Lautes Netzwerk

Referenzen

1. Mnih et al., 2013, Atari mit tiefem Verstärkungslernen spielen,
2. Mnih et al., 2015 auf Menschenebene durch tiefes Verstärkungslernen, Mnih et al., 2015
3. Tiefe Verstärkung Lernen mit Doppel-Q-Learning, Van Hasselt et al., 2015
4. Kontinuierliche Kontrolle mit tiefem Verstärkungslernen, Lillicrap et al., 2015
5. CVAE-GAN: Feinkörnige Bildgenerierung durch asymmetrisches Training, Bao et al., 2017
6. Beta-vae: Lernen grundlegender visueller Konzepte mit einem eingeschränkten Variationsrahmen, Higgins et al., 2017
7. Replay im Hinterblicke, Andrychowicz et al., 2017
8. Infogan: Interpretierbares Lernen von Repräsentationen durch Informationen, die generative kontroverse Netze maximieren, Chen et al., 2016
9. Weltmodelle, Ha et al., 2018
10. Spektrale Normalisierung für generative kontroverse Netzwerke, Miyato et al., 2018
11. Selbstbekämpfung generative kontroverse Netzwerke, Zhang et al., 2018
12. Curiosity-getriebene Erforschung durch selbstvervielfältige Vorhersage, Pathak et al., 2017
13. Weiche Schauspieler-Kritik: Off-Policy Maximum Entropie Tiefes Verstärkung Lernen mit einem stochastischen Schauspieler, Karnoja et al., 2018
14. Parameterraum Rauschen für Exploration, Plappert et al., 2018
15. Lautes Netzwerk für Exploration, Fortunato et al., 2018
16. Proximale Politikoptimierungsalgorithmen, Schulman et al., 2017
17. Unüberwachte Echtzeitkontrolle durch Variationsförderung, Karl et al., 2017
18. Mutuelle Information Neuronale Schätzung, Belghazi et al., 2018
19. Empowerment-gesteuerte Exploration unter Verwendung von gegenseitiger Informationsschätzung, Kumar et al., 2018