deep reinforcement learning

深度強化學習納米模板

該存儲庫包含與Udacity深入增強學習納米模板程序有關的材料。

目錄

教程

這些教程使您通過在增強學習中實施各種算法。所有代碼都在Pytorch（V0.4）和Python 3中。

• 動態編程：實施動態編程算法，例如策略評估，政策改進，政策迭代和價值迭代。
• 蒙特卡洛：實施蒙特卡洛方法進行預測和控制。
• 時間差異：實現時間差異方法，例如SARSA，Q學習和預期SARSA。
• 離散化：學習如何離散連續狀態空間並解決山車環境。
• 瓷磚編碼：實施一種分散連續狀態空間的方法，以實現更好的概括。
• 深Q網絡：探索如何使用深Q網絡（DQN）在不崩潰的情況下導航太空車。
• 機器人技術：使用C ++ API從3D中的虛擬機器人模擬中訓練加固學習劑。 （外部鏈接）
• 爬山：使用帶有自適應噪音縮放的山坡攀爬，以平衡移動的手推車上的桿子。
• 跨凝結方法：使用跨凝結法訓練汽車駛入陡峭的山丘。
• 加強：學習如何使用蒙特卡洛政策梯度來解決經典的控制任務。
• 近端政策優化：探索如何使用近端策略優化（PPO）來解決經典的增強學習任務。 （即將推出！ ）
• 深層確定性政策梯度：探索如何使用OpenAI健身環境使用深層確定性政策梯度（DDPG）。
  • 鐘擺：使用Openai Gym的鐘擺環境。
  • BipedalWalker：使用Openai Gym的BipedalWalker環境。
• 財務：培訓代理商以發現最佳交易策略。

實驗室 /項目

實驗室和項目可以在下面找到。所有項目都使用來自Unity ML代理的豐富仿真環境。在深入的增強學習納米模板計劃中，您將收到對項目的評論。這些評論旨在為您提供個性化的反饋，並告訴您代碼中可以改進的內容。

• 出租車問題：在這個實驗室中，您將訓練出租車來接送乘客。
• 導航：在第一個項目中，您將培訓一個代理商在避免使用藍色香蕉的同時收集黃色香蕉。
• 連續控制：在第二個項目中，您將訓練機器人臂以達到目標位置。
• 協作與競爭：在第三個項目中，您將訓練一對代理商打網球！

資源

• 作弊表：鼓勵您使用此PDF文件來指導您的增強學習學習。

Openai Gym基準測試

經典控制

• Acrobot-v1帶有瓷磚編碼和Q學習
• Cartpole-v0與爬山|解決了13集
• Cartpole-v0帶有增強|解決了691集
• 帶有跨滲透方法的MountainCarContinuous-v0 |解決了47次迭代
• 具有均勻網格離散和Q學習的MountainCar-v0 |解決了<50000集
• Pendulum-v0具有深層確定性政策梯度（DDPG）

Box2D

• 具有深層確定性政策梯度（DDPG）的BipedalWalker-v2
• 帶有深Q-NETWORKS（DQN）的CarRacing-v0 |即將推出！
• LunarLander-v2帶有深Q-Networks（DQN）|解決了1504集

玩具文字

• 帶有動態編程的FrozenLake-v0
• 用蒙特卡洛方法Blackjack-v0
• 帶有時間差異方法的CliffWalking-v0

依賴性

要設置您的Python環境以在此存儲庫中運行代碼，請按照以下說明進行操作。

1. 使用Python 3.6創建（並激活）新環境。

   • Linux或Mac ：

   conda create --name drlnd python=3.6
   source activate drlnd

   • Windows ：

   conda create --name drlnd python=3.6 
   activate drlnd

2. 如果在Windows中運行，請確保您從本網站安裝了“為Visual Studio 2019構建工具”。本文也可能非常有幫助。這被確認可以在Windows 10 Home工作。

3. 請按照此存儲庫中的說明進行最少的OpenAI健身房安裝。

   • 接下來，通過在此處按照說明來安裝經典控制環境組。
   • 然後，通過按照此處的說明安裝Box2D環境組。

4. 克隆存儲庫（如果還沒有！），然後導航到python/文件夾。然後，安裝幾個依賴項。

   git clone https://github.com/udacity/deep-reinforcement-learning.git
   cd deep-reinforcement-learning/python
   pip install .

5. 為drlnd環境創建一個ipython內核。

   python -m ipykernel install --user --name drlnd --display-name " drlnd "

6. 在筆記本中運行代碼之前，請使用下拉Kernel菜單更改內核以匹配drlnd環境。

想了解更多嗎？

在Udacity的深入加固學習納米模板計劃中與我們一起學習！