deep reinforcement learning

Pembelajaran Penguatan Deep Nanodegree

Repositori ini berisi materi yang terkait dengan program Nanodegree Penguatan Penguatan Udacity.

Daftar isi

Tutorial

Tutorial menuntun Anda melalui penerapan berbagai algoritma dalam pembelajaran penguatan. Semua kode ada di Pytorch (v0.4) dan Python 3.

• Pemrograman Dinamis: Menerapkan algoritma pemrograman dinamis seperti evaluasi kebijakan, peningkatan kebijakan, iterasi kebijakan, dan iterasi nilai.
• Monte Carlo: Menerapkan metode Monte Carlo untuk prediksi dan kontrol.
• Temporal-Diference: Menerapkan metode-diferensial temporal seperti SARSA, Q-Learning, dan Sarsa yang diharapkan.
• Diskritisasi: Pelajari cara mendiskritisasi ruang negara yang berkelanjutan, dan selesaikan lingkungan mobil gunung.
• Pengkodean Ubin: Menerapkan metode untuk mendiskritisasi ruang keadaan kontinu yang memungkinkan generalisasi yang lebih baik.
• Deep Q-NetWork: Jelajahi cara menggunakan Q-Network yang dalam (DQN) untuk menavigasi kendaraan luar angkasa tanpa mogok.
• Robotika: Gunakan API C ++ untuk melatih agen pembelajaran penguatan dari simulasi robotik virtual dalam 3D. ( Tautan eksternal )
• Panjat bukit: Gunakan pendakian bukit dengan penskalaan kebisingan adaptif untuk menyeimbangkan tiang dengan gerobak yang bergerak.
• Metode Cross-Entropy: Gunakan metode cross-entropy untuk melatih mobil untuk menavigasi bukit yang curam.
• Perkuat: Pelajari cara menggunakan gradien kebijakan Monte Carlo untuk menyelesaikan tugas kontrol klasik.
• Optimalisasi Kebijakan Proksimal : Jelajahi Cara Menggunakan Optimasi Kebijakan Proksimal (PPO) untuk menyelesaikan tugas pembelajaran penguatan klasik. ( Segera hadir! )
• Gradien Kebijakan Deterministik Deep : Jelajahi cara menggunakan gradien kebijakan deterministik mendalam (DDPG) dengan lingkungan gym openai.
  • Pendulum: Gunakan lingkungan pendulum Openai Gym.
  • Bipedalwalker: Gunakan lingkungan bipedalwalker Openai Gym.
• Keuangan: Latih agen untuk menemukan strategi perdagangan yang optimal.

Laboratorium / Proyek

Laboratorium dan proyek dapat ditemukan di bawah. Semua proyek menggunakan lingkungan simulasi yang kaya dari Unity ML-agents. Dalam Program Nanodegree Pembelajaran Penguatan Deep, Anda akan menerima ulasan tentang proyek Anda. Ulasan ini dimaksudkan untuk memberi Anda umpan balik yang dipersonalisasi dan memberi tahu Anda apa yang dapat ditingkatkan dalam kode Anda.

• Masalah taksi: Di lab ini, Anda akan melatih taksi untuk mengambil dan menurunkan penumpang.
• Navigasi: Dalam proyek pertama, Anda akan melatih agen untuk mengumpulkan pisang kuning sambil menghindari pisang biru.
• Kontrol Berkelanjutan: Dalam proyek kedua, Anda akan melatih lengan robot untuk mencapai lokasi target.
• Kolaborasi dan Kompetisi: Dalam proyek ketiga, Anda akan melatih sepasang agen untuk bermain tenis!

Sumber daya

• Cheatsheet: Anda didorong untuk menggunakan file PDF ini untuk memandu pembelajaran penguatan Anda.

Tolok ukur gym openai

Kontrol klasik

• Acrobot-v1 dengan pengkodean ubin dan learning Q
• Cartpole-v0 dengan pendakian bukit | diselesaikan dalam 13 episode
• Cartpole-v0 dengan Tatforce | diselesaikan dalam 691 episode
• MountainCarContinuous-v0 dengan metode cross-entropy | diselesaikan dalam 47 iterasi
• MountainCar-v0 dengan diskritisasi grid seragam dan Q-learning | diselesaikan dalam <50000 episode
• Pendulum-v0 dengan gradien kebijakan deterministik mendalam (DDPG)

Box2d

• BipedalWalker-v2 dengan gradien kebijakan deterministik mendalam (DDPG)
• CarRacing-v0 dengan q-networks yang dalam (dqn) | Segera hadir!
• LunarLander-v2 dengan Q-Networks Deep (DQN) | diselesaikan dalam 1504 episode

Teks mainan

• FrozenLake-v0 dengan pemrograman dinamis
• Blackjack-v0 dengan metode Monte Carlo
• CliffWalking-v0 dengan metode perbedaan temporal

Dependensi

Untuk mengatur lingkungan Python Anda untuk menjalankan kode di repositori ini, ikuti instruksi di bawah ini.

1. Buat (dan aktifkan) lingkungan baru dengan Python 3.6.

   • Linux atau Mac :

   conda create --name drlnd python=3.6
   source activate drlnd

   • Windows :

   conda create --name drlnd python=3.6 
   activate drlnd

2. Jika berjalan di Windows , pastikan Anda memiliki "Build Tools for Visual Studio 2019" yang diinstal dari situs ini. Artikel ini juga mungkin sangat membantu. Ini dikonfirmasi untuk bekerja di Windows 10 Home.

3. Ikuti instruksi dalam repositori ini untuk melakukan pemasangan minimal gym OpenAI.

   • Selanjutnya, pasang grup Lingkungan Kontrol Klasik dengan mengikuti instruksi di sini.
   • Kemudian, pasang grup Box2D Environment dengan mengikuti instruksi di sini.

4. Kloning repositori (jika Anda belum melakukannya!), Dan navigasikan ke python/ folder. Kemudian, pasang beberapa dependensi.

   git clone https://github.com/udacity/deep-reinforcement-learning.git
   cd deep-reinforcement-learning/python
   pip install .

5. Buat kernel ipython untuk lingkungan drlnd .

   python -m ipykernel install --user --name drlnd --display-name " drlnd "

6. Sebelum menjalankan kode di buku catatan, ubah kernel agar sesuai dengan lingkungan drlnd dengan menggunakan menu Kernel drop-down.

Ingin belajar lebih banyak?

Ayo belajar bersama kami dalam program penguatan nanodegree penguatan dalam di Udacity!