diff --git a/机器学习算法理论及应用/第一章——线性回归/assets/1613962795506.png b/机器学习算法理论及应用/assets/1613962795506.png similarity index 100% rename from 机器学习算法理论及应用/第一章——线性回归/assets/1613962795506.png rename to 机器学习算法理论及应用/assets/1613962795506.png diff --git a/机器学习算法理论及应用/第一章——线性回归/assets/1613963456265.png b/机器学习算法理论及应用/assets/1613963456265.png similarity index 100% rename from 机器学习算法理论及应用/第一章——线性回归/assets/1613963456265.png rename to 机器学习算法理论及应用/assets/1613963456265.png diff --git a/机器学习算法理论及应用/第一章——线性回归/assets/1613965126989.png b/机器学习算法理论及应用/assets/1613965126989.png similarity index 100% rename from 机器学习算法理论及应用/第一章——线性回归/assets/1613965126989.png rename to 机器学习算法理论及应用/assets/1613965126989.png diff --git a/机器学习算法理论及应用/第一章——线性回归/assets/1613965189106.png b/机器学习算法理论及应用/assets/1613965189106.png similarity index 100% rename from 机器学习算法理论及应用/第一章——线性回归/assets/1613965189106.png rename to 机器学习算法理论及应用/assets/1613965189106.png diff --git a/机器学习算法理论及应用/第一章——线性回归/assets/1613977618784.png b/机器学习算法理论及应用/assets/1613977618784.png similarity index 100% rename from 机器学习算法理论及应用/第一章——线性回归/assets/1613977618784.png rename to 机器学习算法理论及应用/assets/1613977618784.png diff --git a/机器学习算法理论及应用/第一章——线性回归/assets/1613978116054.png b/机器学习算法理论及应用/assets/1613978116054.png similarity index 100% rename from 机器学习算法理论及应用/第一章——线性回归/assets/1613978116054.png rename to 机器学习算法理论及应用/assets/1613978116054.png diff --git a/机器学习算法理论及应用/第一章——线性回归/assets/1613978136136.png b/机器学习算法理论及应用/assets/1613978136136.png similarity index 100% rename from 机器学习算法理论及应用/第一章——线性回归/assets/1613978136136.png rename to 机器学习算法理论及应用/assets/1613978136136.png diff --git a/机器学习算法理论及应用/第一章——线性回归/assets/1613978160407.png b/机器学习算法理论及应用/assets/1613978160407.png similarity index 100% rename from 机器学习算法理论及应用/第一章——线性回归/assets/1613978160407.png rename to 机器学习算法理论及应用/assets/1613978160407.png diff --git a/机器学习算法理论及应用/第一章——线性回归/assets/1613978566334.png b/机器学习算法理论及应用/assets/1613978566334.png similarity index 100% rename from 机器学习算法理论及应用/第一章——线性回归/assets/1613978566334.png rename to 机器学习算法理论及应用/assets/1613978566334.png diff --git a/机器学习算法理论及应用/第一章——线性回归/assets/1613978607945.png b/机器学习算法理论及应用/assets/1613978607945.png similarity index 100% rename from 机器学习算法理论及应用/第一章——线性回归/assets/1613978607945.png rename to 机器学习算法理论及应用/assets/1613978607945.png diff --git a/机器学习算法理论及应用/第一章——线性回归/assets/1613980700874.png b/机器学习算法理论及应用/assets/1613980700874.png similarity index 100% rename from 机器学习算法理论及应用/第一章——线性回归/assets/1613980700874.png rename to 机器学习算法理论及应用/assets/1613980700874.png diff --git a/机器学习算法理论及应用/第一章——线性回归/assets/1613980817287.png b/机器学习算法理论及应用/assets/1613980817287.png similarity index 100% rename from 机器学习算法理论及应用/第一章——线性回归/assets/1613980817287.png rename to 机器学习算法理论及应用/assets/1613980817287.png diff --git a/机器学习算法理论及应用/第一章——线性回归/assets/1613980821171.png b/机器学习算法理论及应用/assets/1613980821171.png similarity index 100% rename from 机器学习算法理论及应用/第一章——线性回归/assets/1613980821171.png rename to 机器学习算法理论及应用/assets/1613980821171.png diff --git a/机器学习算法理论及应用/第一章——线性回归/assets/1614044218548.png b/机器学习算法理论及应用/assets/1614044218548.png similarity index 100% rename from 机器学习算法理论及应用/第一章——线性回归/assets/1614044218548.png rename to 机器学习算法理论及应用/assets/1614044218548.png diff --git a/机器学习算法理论及应用/第一章——线性回归/assets/1614044234709.png b/机器学习算法理论及应用/assets/1614044234709.png similarity index 100% rename from 机器学习算法理论及应用/第一章——线性回归/assets/1614044234709.png rename to 机器学习算法理论及应用/assets/1614044234709.png diff --git a/机器学习算法理论及应用/第一章——线性回归/assets/1614044250549.png b/机器学习算法理论及应用/assets/1614044250549.png similarity index 100% rename from 机器学习算法理论及应用/第一章——线性回归/assets/1614044250549.png rename to 机器学习算法理论及应用/assets/1614044250549.png diff --git a/机器学习算法理论及应用/第一章——线性回归/assets/1614051473653.png b/机器学习算法理论及应用/assets/1614051473653.png similarity index 100% rename from 机器学习算法理论及应用/第一章——线性回归/assets/1614051473653.png rename to 机器学习算法理论及应用/assets/1614051473653.png diff --git a/机器学习算法理论及应用/第一章——线性回归/assets/1614053992861.png b/机器学习算法理论及应用/assets/1614053992861.png similarity index 100% rename from 机器学习算法理论及应用/第一章——线性回归/assets/1614053992861.png rename to 机器学习算法理论及应用/assets/1614053992861.png diff --git a/机器学习算法理论及应用/第一章——线性回归/assets/1614054121928.png b/机器学习算法理论及应用/assets/1614054121928.png similarity index 100% rename from 机器学习算法理论及应用/第一章——线性回归/assets/1614054121928.png rename to 机器学习算法理论及应用/assets/1614054121928.png diff --git a/机器学习算法理论及应用/第一章——线性回归/assets/1614054304093.png b/机器学习算法理论及应用/assets/1614054304093.png similarity index 100% rename from 机器学习算法理论及应用/第一章——线性回归/assets/1614054304093.png rename to 机器学习算法理论及应用/assets/1614054304093.png diff --git a/机器学习算法理论及应用/第一章——线性回归/assets/1614054320647.png b/机器学习算法理论及应用/assets/1614054320647.png similarity index 100% rename from 机器学习算法理论及应用/第一章——线性回归/assets/1614054320647.png rename to 机器学习算法理论及应用/assets/1614054320647.png diff --git a/机器学习算法理论及应用/第一章——线性回归/assets/1614054359779.png b/机器学习算法理论及应用/assets/1614054359779.png similarity index 100% rename from 机器学习算法理论及应用/第一章——线性回归/assets/1614054359779.png rename to 机器学习算法理论及应用/assets/1614054359779.png diff --git a/机器学习算法理论及应用/第一章——线性回归/assets/1614054402887.png b/机器学习算法理论及应用/assets/1614054402887.png similarity index 100% rename from 机器学习算法理论及应用/第一章——线性回归/assets/1614054402887.png rename to 机器学习算法理论及应用/assets/1614054402887.png diff --git a/机器学习算法理论及应用/assets/1614062404175.png b/机器学习算法理论及应用/assets/1614062404175.png new file mode 100644 index 0000000..1d85800 Binary files /dev/null and b/机器学习算法理论及应用/assets/1614062404175.png differ diff --git a/机器学习算法理论及应用/第一章——线性回归/1. 线性回归原理.md b/机器学习算法理论及应用/第一章——线性回归原理.md similarity index 66% rename from 机器学习算法理论及应用/第一章——线性回归/1. 线性回归原理.md rename to 机器学习算法理论及应用/第一章——线性回归原理.md index 43de6d6..aa20d38 100644 --- a/机器学习算法理论及应用/第一章——线性回归/1. 线性回归原理.md +++ b/机器学习算法理论及应用/第一章——线性回归原理.md @@ -1,4 +1,4 @@ -# 1. 线性回归原理 +# 第一章——线性回归原理 ### 线性回归概述 @@ -67,21 +67,21 @@ #### 似然函数的作用 -- 预测值与误差（1）：![1613978116054](assets/1613978116054.png) +- 预测值与误差：![1613978116054](assets/1613978116054.png)（1） > y是真实值、x是预测值、ε误差值，现在我们要求的就是θ，它应该怎么求解 -- 由于误差服从高斯分布（2）：![1613978136136](assets/1613978136136.png) +- 由于误差服从高斯分布：![1613978136136](assets/1613978136136.png)（2） > 高斯分布的公式，这里我们要求的是θ，所以把θ移动到左边，变成y - θX = ε，即演变成 -- 将（1）式带入（2）式：![1613978160407](assets/1613978160407.png) +- 将（1）式带入（2）式：![1613978160407](assets/1613978160407.png)（3） > 这里我们希望左边的x和θ组合完后，和真实值y越解决越好，即成为y的可能性越大越好 - 似然函数：![1613978566334](assets/1613978566334.png) - 解释：什么样的参数跟我们的数据组合后恰好是真实值 + 解释：为什么引入，什么样的参数跟我们的数据组合后恰好是真实值 - 对数似然：![1613978607945](assets/1613978607945.png) @@ -97,5 +97,57 @@ - 目标函数：![1614044218548](assets/1614044218548.png) - 求偏导：![1614044234709](assets/1614044234709.png) -- 偏导等于0：![1614044250549](assets/1614044250549.png) +- 偏导等于0的最优解：![1614044250549](assets/1614044250549.png) + + + +### 梯度下降 + +#### 通俗理解 + +- 引入：当我们得到了一个目标函数后，如何求解？（并不一定可解，线性回归可以当做是一个特例） +- 常规套路：机器学习的套路就是我们交给机器一堆数据，然后告诉它什么样的学习方式是对的（目标函数），然后让它朝着这个方向去做 +- 如何优化：一步步的完成迭代。![1614051473653](assets/1614051473653.png) + +#### 参数更新方法 + +- 目标函数：![1614053992861](assets/1614053992861.png) + + > θ0和θ1分别得出方向，最终找到综合的结果。 + +- 寻找山谷的最低点，也就是我们的目标函数终点 + +- 下山分多步走（更新参数） + + 1. 找到最合适的方向 + 2. 每次走一小步 + 3. 按照方向和步伐更新参数 + +![1614054121928](assets/1614054121928.png) + +梯度下降，目标函数：![1614054304093](assets/1614054304093.png) + +- 批量梯度下降：![1614054320647](assets/1614054320647.png) + + （容易得到最优解，但由于每次考虑所有样本，速度很慢） + +- 随机梯度下降：![1614054359779](assets/1614054359779.png) + + （每次找到一个样本，迭代速度快，但不一定每次都朝着收敛的方向） + +- 小批量梯度下降发：![1614054402887](assets/1614054402887.png) + + （每次更新选择一小部分数据来算） + + + +#### 学习率（步长） + +> 上面小批量梯度公式里的α + +- 学习率（步长）：对结果会产生巨大的影响，一般小一些 +- 如何选择：从小的开始，知道不能再小 +- 批处理数：32、64、128都可以，很多时候还要考虑资源和时间 + +![1614062404175](assets/1614062404175.png)