deep reinforcement learning

深度强化学习纳米模板

该存储库包含与Udacity深入增强学习纳米模板程序有关的材料。

目录

教程

这些教程使您通过在增强学习中实施各种算法。所有代码都在Pytorch（V0.4）和Python 3中。

• 动态编程：实施动态编程算法，例如策略评估，政策改进，政策迭代和价值迭代。
• 蒙特卡洛：实施蒙特卡洛方法进行预测和控制。
• 时间差异：实现时间差异方法，例如SARSA，Q学习和预期SARSA。
• 离散化：学习如何离散连续状态空间并解决山车环境。
• 瓷砖编码：实施一种分散连续状态空间的方法，以实现更好的概括。
• 深Q网络：探索如何使用深Q网络（DQN）在不崩溃的情况下导航太空车。
• 机器人技术：使用C ++ API从3D中的虚拟机器人模拟中训练加固学习剂。 （外部链接）
• 爬山：使用带有自适应噪音缩放的山坡攀爬，以平衡移动的手推车上的杆子。
• 跨凝结方法：使用跨凝结法训练汽车驶入陡峭的山丘。
• 加强：学习如何使用蒙特卡洛政策梯度来解决经典的控制任务。
• 近端政策优化：探索如何使用近端策略优化（PPO）来解决经典的增强学习任务。 （即将推出！ ）
• 深层确定性政策梯度：探索如何使用OpenAI健身环境使用深层确定性政策梯度（DDPG）。
  • 钟摆：使用Openai Gym的钟摆环境。
  • BipedalWalker：使用Openai Gym的BipedalWalker环境。
• 财务：培训代理商以发现最佳交易策略。

实验室 /项目

实验室和项目可以在下面找到。所有项目都使用来自Unity ML代理的丰富仿真环境。在深入的增强学习纳米模板计划中，您将收到对项目的评论。这些评论旨在为您提供个性化的反馈，并告诉您代码中可以改进的内容。

• 出租车问题：在这个实验室中，您将训练出租车来接送乘客。
• 导航：在第一个项目中，您将培训一个代理商在避免使用蓝色香蕉的同时收集黄色香蕉。
• 连续控制：在第二个项目中，您将训练机器人臂以达到目标位置。
• 协作与竞争：在第三个项目中，您将训练一对代理商打网球！

资源

• 作弊表：鼓励您使用此PDF文件来指导您的增强学习学习。

Openai Gym基准测试

经典控制

• Acrobot-v1带有瓷砖编码和Q学习
• Cartpole-v0与爬山|解决了13集
• Cartpole-v0带有增强|解决了691集
• 带有跨渗透方法的MountainCarContinuous-v0 |解决了47次迭代
• 具有均匀网格离散和Q学习的MountainCar-v0 |解决了<50000集
• Pendulum-v0具有深层确定性政策梯度（DDPG）

Box2D

• 具有深层确定性政策梯度（DDPG）的BipedalWalker-v2
• 带有深Q-NETWORKS（DQN）的CarRacing-v0 |即将推出！
• LunarLander-v2带有深Q-Networks（DQN）|解决了1504集

玩具文字

• 带有动态编程的FrozenLake-v0
• 用蒙特卡洛方法Blackjack-v0
• 带有时间差异方法的CliffWalking-v0

依赖性

要设置您的Python环境以在此存储库中运行代码，请按照以下说明进行操作。

1. 使用Python 3.6创建（并激活）新环境。

   • Linux或Mac ：

   conda create --name drlnd python=3.6
   source activate drlnd

   • Windows ：

   conda create --name drlnd python=3.6 
   activate drlnd

2. 如果在Windows中运行，请确保您从本网站安装了“为Visual Studio 2019构建工具”。本文也可能非常有帮助。这被确认可以在Windows 10 Home工作。

3. 请按照此存储库中的说明进行最少的OpenAI健身房安装。

   • 接下来，通过在此处按照说明来安装经典控制环境组。
   • 然后，通过按照此处的说明安装Box2D环境组。

4. 克隆存储库（如果还没有！），然后导航到python/文件夹。然后，安装几个依赖项。

   git clone https://github.com/udacity/deep-reinforcement-learning.git
   cd deep-reinforcement-learning/python
   pip install .

5. 为drlnd环境创建一个ipython内核。

   python -m ipykernel install --user --name drlnd --display-name " drlnd "

6. 在笔记本中运行代码之前，请使用下拉Kernel菜单更改内核以匹配drlnd环境。

想了解更多吗？

在Udacity的深入加固学习纳米模板计划中与我们一起学习！