pytorch rl

Pembelajaran Penguatan yang mendalam di Pytorch

Repositori ini berisi semua algoritma RL yang bebas model dan berbasis model (datang) di Pytorch. (Mungkin juga berisi beberapa ide penelitian yang sedang saya kerjakan saat ini)

Untuk C ++ versi Pytorch-RL: Pytorch-Rl-CPP

Apa itu?

Pytorch-Rl mengimplementasikan beberapa algoritma pembelajaran penguatan mendalam yang canggih di Pytorch, terutama yang berkaitan dengan ruang tindakan berkelanjutan. Anda dapat melatih algoritma Anda secara efisien baik di CPU atau GPU. Selain itu, Pytorch-RL bekerja dengan Openai Gym di luar kotak. Ini berarti bahwa mengevaluasi dan bermain -main dengan algoritma yang berbeda itu mudah. Tentu saja Anda dapat memperluas Pytorch-RL sesuai dengan kebutuhan Anda sendiri. TL: DR: Pytorch-RL membuatnya sangat mudah untuk menjalankan algoritma pembelajaran penguatan dalam yang canggih.

Instalasi

Instal Pytorch-RL dari PYPI (Direkomendasikan):

Pip Instal Pytorch-Policy

Dependensi

1. Pytorch
2. Gym (openai)
3. mujoco-py (untuk simulasi fisika dan robotika env di gym)
4. Pybullet (segera hadir)
5. MPI (hanya didukung dengan instalasi MPI backend pytorch)
6. Tensorboardx (https://github.com/lanpa/tensorboardx)

Algoritma RL

1. DQN (dengan pembelajaran Q ganda)
2. Ddpg
3. DDPG dengan dia (untuk lingkungan pengambilan openai)
4. Pembelajaran Penguatan Heirarkis
5. Pengalaman Prioritas Replay + DDPG
6. DDPG dengan replay Pengalaman Hindsight yang diprioritaskan (Penelitian)
7. Peta saraf dengan A3C (segera hadir)
8. Rainbow DQN (segera hadir)
9. PPO (https://github.com/ikostrikov/pytorch-a2c-ppo-acktr)
10. Dia dengan perhatian diri untuk substitusi tujuan (penelitian)
11. A3C (segera hadir)
12. Acer (segera hadir)
13. Darla
14. Tdm
15. Model Dunia
16. Aktor-kritik lunak
17. Eksplorasi Digerakkan Pemberdayaan (Implementasi TensorFlow: https://github.com/navneet-nmk/empowment-driven-exploration)

Lingkungan

1. Kesuksesan besar
2. Pong (segera hadir)
3. Tugas robot manipulasi tangan
4. Mengambil tugas robot jangkauan
5. Tugas robot yang dijangkau dengan tangan
6. Blok manipulasi tugas robot
7. Balas dendam Montezuma (penelitian saat ini)
8. Jebakan
9. Gravitar
10. Carracing
11. Super Mario Bros (Ikuti Instruksi untuk Menginstal Gym-Retro https://github.com/openai/retro)
12. Opensim Prosthetics NIPS Challenge (https://www.crowdai.org/challenges/nips-2018-ai-for-prosthetics-challenge)

Pemodelan Lingkungan (untuk eksplorasi dan adaptasi domain)

Beberapa trik pelatihan GAN telah digunakan karena ketidakstabilan dalam melatih generator dan diskriminator. Silakan merujuk ke https://github.com/soumith/ganhacks untuk informasi lebih lanjut.

Bahkan setelah menggunakan trik, sangat sulit untuk melatih Gan ke konvergensi. Namun, setelah menggunakan normalisasi spektral (https://arxiv.org/abs/1802.05957) Infogan dilatih untuk konvergensi.

Untuk tugas -tugas terjemahan gambar ke gambar dengan GAN dan untuk VAE secara umum, pelatihan dengan Koneksi Skip benar -benar membantu pelatihan.

1. beta-vae
2. Infogan
3. CVAE-GAN
4. Model generatif berbasis aliran (penelitian)
5. Sagan
6. Hadir berurutan, menyimpulkan, ulangi
7. Eksplorasi yang didorong oleh rasa ingin tahu
8. Parameter Space Noise untuk Eksplorasi
9. Jaringan bising

Referensi

1. Bermain Atari dengan pembelajaran penguatan yang mendalam, Mnih et al., 2013
2. Kontrol tingkat manusia melalui pembelajaran penguatan mendalam, Mnih et al., 2015
3. Pembelajaran penguatan mendalam dengan learning Q ganda, van Hasselt et al., 2015
4. Kontrol berkelanjutan dengan pembelajaran penguatan yang mendalam, Lillicrap et al., 2015
5. CVAE-GAN: Generasi gambar berbutir halus melalui pelatihan asimetris, Bao et al., 2017
6. Beta-Vae: Belajar Konsep Visual Dasar Dengan Kerangka Kerja Variasional Terkendala, Higgins et al., 2017
7. Replay Pengalaman Hindsight, Andrychowicz et al., 2017
8. Infogan: Pembelajaran Representasi yang Dapat Ditafsirkan dengan Informasi Memaksimalkan Nets Adversarial Generatif, Chen et al., 2016
9. Model Dunia, Ha et al., 2018
10. Normalisasi spektral untuk jaringan permusuhan generatif, Miyato et al., 2018
11. Jaringan permusuhan generatif diri sendiri, Zhang et al., 2018
12. Eksplorasi yang digerakkan oleh rasa ingin tahu dengan prediksi yang diatur sendiri, Pathak et al., 2017
13. Aktor Soft-Critic: Off-Policy Maximum Entropy Inforforcement Belajar dengan aktor stokastik, Haarnoja et al., 2018
14. Parameter Space Noise untuk Eksplorasi, Plappert et al., 2018
15. Jaringan bising untuk eksplorasi, Fortunato et al., 2018
16. Algoritma Optimasi Kebijakan Proksimal, Schulman et al., 2017
17. Kontrol real-time tanpa pengawasan melalui pemberdayaan variasional, Karl et al., 2017
18. Estimasi Saraf Saraf Reksa, Belghazi et al., 2018
19. Eksplorasi yang digerakkan oleh pemberdayaan menggunakan estimasi informasi timbal balik, Kumar et al., 2018