deep reinforcement learning

深い強化学習ナノデグリー

このリポジトリには、Udacityの深い強化学習Nanodegreeプログラムに関連する資料が含まれています。

目次

チュートリアル

チュートリアルは、補強学習にさまざまなアルゴリズムを実装することであなたを導きます。すべてのコードはPytorch（v0.4）およびPython 3にあります。

• 動的プログラミング：ポリシー評価、ポリシー改善、ポリシー反復、価値の反復などの動的プログラミングアルゴリズムを実装します。
• モンテカルロ：予測と制御のためのモンテカルロ法を実装します。
• 時間差：SARSA、Qラーニング、予想されるSARSAなどの時間差法を実装します。
• 離散化：連続状態空間を離散化し、山の車の環境を解決する方法を学びます。
• タイルコーディング：より良い一般化を可能にする連続状態空間を離散化する方法を実装します。
• ディープQネットワーク：ディープQネットワーク（DQN）を使用して、クラッシュせずに宇宙車両をナビゲートする方法を探ります。
• ロボット工学：C ++ APIを使用して、3Dの仮想ロボットシミュレーションから強化学習エージェントをトレーニングします。 （外部リンク）
• ヒルクライミング：適応ノイズスケーリングでヒルクライミングを使用して、動くカートのポールのバランスを取ります。
• 交差点法：エントロピーを横断する方法を使用して、車を訓練して急な丘をナビゲートします。
• 強化：モンテカルロのポリシーグラデーションを使用して、古典的な制御タスクを解決する方法を学びます。
• 近位のポリシーの最適化：近位政策最適化（PPO）を使用して、古典的な強化学習タスクを解決する方法を調べます。 （近日公開！ ）
• 深い決定論的ポリシーグラデーション：OpenAIジム環境で深い決定論的ポリシーグラデーション（DDPG）の使用方法を探ります。
  • 振り子：Openai Gymの振り子環境を使用してください。
  • Bipedalwalker：Openai GymのBipedalwalker環境を使用してください。
• 財務：エージェントを訓練して、最適な取引戦略を発見します。

ラボ /プロジェクト

ラボとプロジェクトは以下にあります。すべてのプロジェクトは、Unity ML-Agentsのリッチシミュレーション環境を使用しています。 Deep Renection Learning Nanodegreeプログラムでは、プロジェクトのレビューを受け取ります。これらのレビューは、パーソナライズされたフィードバックを提供し、コードで何が改善できるかを伝えることを目的としています。

• タクシーの問題：このラボでは、タクシーを訓練して乗客を拾って降ろします。
• ナビゲーション：最初のプロジェクトでは、青いバナナを避けながら黄色のバナナを収集するエージェントを訓練します。
• 継続的な制御：2番目のプロジェクトでは、ロボットアームをトレーニングしてターゲットの場所に到達します。
• コラボレーションと競争：3番目のプロジェクトでは、テニスをするためにエージェントのペアを訓練します！

リソース

• チートシート：このPDFファイルを使用して、強化学習の研究を導くことをお勧めします。

Openaiジムのベンチマーク

古典的なコントロール

• タイルコーディングとQラーニングを備えたAcrobot-v1
• ヒルクライミング付きのCartpole-v0 | 13エピソードで解決されました
• Cartpole-v0補強| 691エピソードで解決されました
• 交差エントロピー法を備えたMountainCarContinuous-v0 | 47回の反復で解決しました
• 均一なグリッド離散化とQラーニングを備えたMountainCar-v0 <50000エピソードで解決されました
• 深い決定論的ポリシーグラデーション（DDPG）を備えたPendulum-v0

box2d

• 深い決定論的ポリシーグラデーション（DDPG）を備えたBipedalWalker-v2
• ディープQネットワーク（DQN）を使用したCarRacing-v0 |近日公開！
• LunarLander-v2 deep q-networks（dqn）| 1504年のエピソードで解決されました

おもちゃのテキスト

• ダイナミックプログラミングを備えたFrozenLake-v0
• モンテカルロ法を備えたBlackjack-v0
• 時間差法を備えたCliffWalking-v0

依存関係

このリポジトリでコードを実行するようにPython環境を設定するには、以下の指示に従ってください。

1. Python 3.6を使用して新しい環境を作成（およびアクティブ化）します。

   • LinuxまたはMac ：

   conda create --name drlnd python=3.6
   source activate drlnd

   • Windows ：

   conda create --name drlnd python=3.6 
   activate drlnd

2. Windowsで実行されている場合は、このサイトから「Visual Studio 2019のビルドツール」がインストールされていることを確認してください。この記事も非常に役立つかもしれません。これは、Windows 10 Homeで機能することが確認されました。

3. このリポジトリの指示に従って、Openaiジムの最小限のインストールを実行します。

   • 次に、こちらの指示に従ってクラシックコントロール環境グループをインストールします。
   • 次に、ここで指示に従ってBox2D環境グループをインストールします。

4. リポジトリをクローンし（まだ持っていない場合！）、 python/フォルダーに移動します。次に、いくつかの依存関係をインストールします。

   git clone https://github.com/udacity/deep-reinforcement-learning.git
   cd deep-reinforcement-learning/python
   pip install .

5. drlnd環境のためにiPythonカーネルを作成します。

   python -m ipykernel install --user --name drlnd --display-name " drlnd "

6. ノートブックでコードを実行する前に、ドロップダウンKernelメニューを使用して、カーネルをdrlnd環境と一致させるように変更します。

もっと知りたいですか？

Udacityの深い補強学習ナノデグリープログラムで私たちと一緒に学んでください！