|
|
|
@ -0,0 +1,53 @@
|
|
|
|
|
|
|
|
# 强化学习介绍
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
强化学习（Reinforcement learning，RL）被视为基础机器学习除监督学习以及无监督学习之外的范式之一。强化学习是完全关于决策的，它可以提供正确的决策或者至少能从他们中学习。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
想象你现在有一个例如股票市场的模拟环境。如果你施加了一条给定的规章制度的话，将会发生什么呢？这条规章制度会带来积极还是消极的影响呢？如果产生了负面影响的话，那么你就需要接受这种 _负强化_ ，从中学习并改变方针。如果产生了正面的成果，那么你就需要基于这种 _正强化_ 越做越好。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
> 彼得和他的朋友们需要逃离饥饿的狼！（图片来自：[Jen Looper](https://twitter.com/jenlooper)）
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## 区域主题：彼得与狼（俄罗斯）
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
[彼得与狼](https://zh.wikipedia.org/wiki/%E5%BD%BC%E5%BE%97%E5%92%8C%E7%8B%BC) 是前苏联作曲家[普罗科菲耶夫](https://zh.wikipedia.org/wiki/%E8%B0%A2%E5%B0%94%E7%9B%96%C2%B7%E6%99%AE%E7%BD%97%E7%A7%91%E8%8F%B2%E8%80%B6%E5%A4%AB)写的一部交响童话。它讲述的是少先队员彼得勇敢地离家到森林空地去追捕狼的故事。在本节中，我们将训练可以帮助彼得的机器学习算法：
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
- **探索** 周边区域并构建一张最佳的导航地图
|
|
|
|
|
|
|
|
- **学习** 如何使用滑板并在上面保持平衡，以便更加快速地移动。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
[](https://www.youtube.com/watch?v=Fmi5zHg4QSM)
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
> 🎥 点击上图聆听普罗科菲耶夫的《彼得与狼》
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## 强化学习
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
在之前的章节中，你已经看到了两个机器学习问题的例子：
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
- **有监督的**——我们有数据集可以为我们想要解决的问题提出示例解决方案。[分类模型](../../4-Classification/README.md)与[回归模型](../../2-Regression/translations/README.zh-cn.md)都是有监督的任务。
|
|
|
|
|
|
|
|
- **无监督的**——我们的训练数据没有标签。无监督学习的一个主要例子就是[聚类分析](../../5-Clustering/README.md)。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
在本节中，我们会向你介绍一种新的学习问题。这种问题不需要有标签的训练数据，它们有以下几类问题：
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
- **[半监督学习](https://wikipedia.org/wiki/Semi-supervised_learning)**——我们有很多没有标签的数据可以用于预先训练模型。
|
|
|
|
|
|
|
|
- **[强化学习](https://wikipedia.org/wiki/Reinforcement_learning)**——一个智能体（agent）在某些模拟环境中进行实验并以此学习如何表现。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
### 例子 - 电脑游戏
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
假设你想要教会电脑如何玩一个例如国际象棋或者[超级马里奥](https://wikipedia.org/wiki/Super_Mario)的游戏。对于电脑来说，我们需要让它预测在每个游戏状态下它的动作才能使它成功地玩游戏。虽然这看上去像是个分类问题，但是事实并非如此——因为我们没有包含（游戏）状态和相应动作的数据集。虽然我们可能有一些现有的国际象棋比赛数据或者玩家玩超级马里奥的记录，但是那些数据很可能无法包含足够多的潜在（游戏）状态。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
**强化学习** (RL) 不是寻找现有的游戏数据，而是基于一种*想让电脑玩* 多次并观察结果的想法。因此，我们需要做以下两件事来应用强化学习：
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
- **环境** 和 **模拟器** ——可以让我们多次玩游戏。这个模拟器将定义所有游戏的规则、可能的状态以及动作。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
- **奖励函数** ——会告诉我们在每个动作或游戏中的表现如何。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
其他机器学习和强化学习（RL）的主要差别就是在RL中我们通常无法在完成游戏之前知道我们是赢还是输。因此，我们无法评价游戏中的某一个特定动作是好是坏——我们只会在游戏结束时才得到奖励。我们的目标是设计一种可以在不确定条件下帮我们训练模型的算法。接下来我们将要学习一种叫**Q-learning**的RL算法。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## 课程
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1. [强化学习与Q-Learning介绍](../1-QLearning/README.md)
|
|
|
|
|
|
|
|
2. [使用Gym模拟环境](../2-Gym/README.md)
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
## Credits
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
"强化学习介绍"由[Dmitry Soshnikov](http://soshnikov.com)撰写 ♥️
|
JudyZhangYifan
3 years ago