PPO PyTorch

PPO-PYTORCH

UPDATE [April 2021]:

• algoritma diskrit dan kontinu menggabungkan
• Menambahkan peluruhan linier untuk ruang aksi kontinu action_std ; untuk membuat pelatihan lebih stabil untuk lingkungan yang kompleks
• Menambahkan tingkat pembelajaran yang berbeda untuk aktor dan kritikus
• Episode, waktu, dan penghargaan sekarang masuk file .csv
• memanfaatkan plot grafik dari file log
• memanfaatkan untuk menguji dan membuat GIF dari jaringan pretrained
• PPO_colab.ipynb menggabungkan semua file untuk melatih / menguji / plot grafik / membuat gif di google colab di jupyter-notebook yang nyaman

Buka PPO_colab.ipynb di Google Colab

Perkenalan

Repositori ini memberikan implementasi Pytorch minimal dari Optimasi Kebijakan Proksimal (PPO) dengan tujuan terpotong untuk lingkungan gym openai. Ini terutama dimaksudkan untuk pemula dalam pembelajaran penguatan untuk memahami algoritma PPO. Ini masih dapat digunakan untuk lingkungan yang kompleks tetapi mungkin memerlukan beberapa tuning hiperparameter atau perubahan dalam kode. Penjelasan singkat tentang algoritma PPO dapat ditemukan di sini dan penjelasan menyeluruh dari semua detail untuk menerapkan PPO berkinerja terbaik dapat ditemukan di sini (semua belum diimplementasikan dalam repo ini).

Untuk menjaga prosedur pelatihan tetap sederhana:

• Ini memiliki standar deviasi konstan untuk distribusi aksi output ( multivariat normal dengan matriks kovarian diagonal ) untuk lingkungan kontinu, yaitu ini adalah hiperparameter dan bukan parameter yang dapat dilatih. Namun, itu membusuk secara linear . (action_std secara signifikan mempengaruhi kinerja)
• Ia menggunakan perkiraan Monte-Carlo sederhana untuk menghitung keuntungan dan tidak ada perkiraan keuntungan umum (lihat implementasi OpenAI yang berputar untuk itu).
• Ini adalah implementasi berulir tunggal , yaitu hanya satu pekerja mengumpulkan pengalaman. Salah satu garpu yang lebih tua dari repositori ini telah dimodifikasi untuk memiliki pekerja paralel

Penggunaan

• Untuk melatih jaringan baru: jalankan train.py
• Untuk menguji jaringan pretrained: jalankan test.py
• Untuk memplot grafik menggunakan file log: jalankan plot_graph.py
• Untuk menyimpan gambar untuk gif dan membuat gif menggunakan jaringan pretrained: jalankan make_gif.py
• Semua parameter dan hyperparamters untuk mengontrol pelatihan / pengujian / grafik / GIF berada di masing -masing file .py
• PPO_colab.ipynb menggabungkan semua file dalam jupyter-notebook
• Semua hyperparameters yang digunakan untuk pelatihan (pretrained) kebijakan tercantum dalam README.md di ppo_pretrained direktori

Catatan :

• Jika lingkungan berjalan pada CPU, gunakan CPU sebagai perangkat untuk pelatihan yang lebih cepat. Box-2D dan Roboschool dijalankan di CPU dan melatihnya di perangkat GPU akan secara signifikan lebih lambat karena data akan sering dipindahkan antara CPU dan GPU

Mengutip

Silakan gunakan Bibtex ini jika Anda ingin mengutip repositori ini di publikasi Anda:

 @misc{pytorch_minimal_ppo,
    author = {Barhate, Nikhil},
    title = {Minimal PyTorch Implementation of Proximal Policy Optimization},
    year = {2021},
    publisher = {GitHub},
    journal = {GitHub repository},
    howpublished = {url{https://github.com/nikhilbarhate99/PPO-PyTorch}},
}

Hasil

PPO Continuous RoboschoolhalfCheetah-V1	PPO Continuous RoboschoolhalfCheetah-V1

PPO Continuous Roboschoolhopper-V1	PPO Continuous Roboschoolhopper-V1

PPO Continuous Roboschoolwalker2D-V1	PPO Continuous Roboschoolwalker2D-V1

PPO Bipedalwalker-V2 kontinu	PPO Bipedalwalker-V2 kontinu

PPO Discrete Cartpole-V1	PPO Discrete Cartpole-V1

PPO diskrit Lunarlander-V2	PPO diskrit Lunarlander-V2

Dependensi

Dilatih dan diuji pada:

 Python 3
PyTorch
NumPy
gym

Lingkungan pelatihan

 Box-2d
Roboschool
pybullet

Grafik dan GIF

 pandas
matplotlib
Pillow

Referensi

• Kertas PPO
• Openai berputar