PPO PyTorch下載-PPO PPO PyTorch源代碼下載

PPO PyTorch

Python

1.0.0

下載

ppo-pytorch

更新[2021年4月]：

合併離散算法
為連續的動作空間action_std添加了線性衰減；使培訓在復雜環境中更穩定
為演員和評論家增加了不同的學習率
現在登錄.csv文件，情節，時間段和獎勵現在已登錄
從日誌文件繪製圖形的utils
從驗證的網絡測試和製作GIF
PPO_colab.ipynb組合所有文件 /測試 /繪圖圖 /在Google colab上製作gifs的文件

在Google colab中打開`PPO_colab.ipynb`

介紹

該存儲庫提供了最小的Pytorch近端策略優化（PPO），並為OpenAI Gym環境提供了剪輯的目標。它主要用於加強學習PPO算法的初學者。它仍然可以用於復雜的環境，但可能需要一些高參數調整或代碼更改。可以在此處找到PPO算法的簡要解釋，並且可以在此處找到實施最佳性能PPO的所有細節的詳盡解釋（所有這些都尚未在此存儲庫中實施）。

保持訓練程序的簡單：

它具有連續環境的輸出動作分佈（具有對角協方差矩陣的多變量正常）的恆定標準偏差，即它是一個超參數，而不是可訓練的參數。但是，它是線性腐爛的。（Action_STD顯著影響性能）
它使用簡單的蒙特卡洛估計值來計算優勢，而不是普遍的優勢估計（請查看OpenAi旋轉實現）。
這是一個單一的實現，即只有一個工人收集經驗。該存儲庫的較舊叉之一已被修改為具有平行工人

用法

訓練一個新網絡：運行train.py
測試驗證的網絡：運行test.py
使用日誌文件繪製圖：運行plot_graph.py
為GIF保存圖像並使用驗證的網絡製作GIF：運行make_gif.py
所有用於控制培訓 /測試 /圖形 / GIF的參數和超參數都在其各自的.py文件中
PPO_colab.ipynb結合了jupyter音符中的所有文件
所有用於培訓（預審計）策略的超參數均在ppo_pretrated目錄中的README.md中列出

筆記：

如果環境在CPU上運行，請使用CPU作為設備進行更快的培訓。 Box-2D和Roboschool在CPU上運行並在GPU設備上訓練它們的訓練會大大降低，因為數據將經常在CPU和GPU之間移動

引用

如果您想在出版物中引用此存儲庫，請使用此Bibtex：

 @misc{pytorch_minimal_ppo,
    author = {Barhate, Nikhil},
    title = {Minimal PyTorch Implementation of Proximal Policy Optimization},
    year = {2021},
    publisher = {GitHub},
    journal = {GitHub repository},
    howpublished = {url{https://github.com/nikhilbarhate99/PPO-PyTorch}},
}