Add. Adaptation of a framework

机器学习算法理论及应用/第一章——线性回归原理.md

@@ -1,4 +1,4 @@
-# 1. 线性回归原理
+# 第一章——线性回归原理
 
 ### 线性回归概述
 
@@ -67,21 +67,21 @@
 
 #### 似然函数的作用
 
-- 预测值与误差（1）：![1613978116054](assets/1613978116054.png)
+- 预测值与误差：![1613978116054](assets/1613978116054.png)（1）
 
   > y是真实值、x是预测值、ε误差值，现在我们要求的就是θ，它应该怎么求解
 
-- 由于误差服从高斯分布（2）：![1613978136136](assets/1613978136136.png)
+- 由于误差服从高斯分布：![1613978136136](assets/1613978136136.png)（2）
 
   > 高斯分布的公式，这里我们要求的是θ，所以把θ移动到左边，变成y - θX = ε，即演变成
 
-- 将（1）式带入（2）式：![1613978160407](assets/1613978160407.png)
+- 将（1）式带入（2）式：![1613978160407](assets/1613978160407.png)（3）
 
   > 这里我们希望左边的x和θ组合完后，和真实值y越解决越好，即成为y的可能性越大越好
 
 - 似然函数：![1613978566334](assets/1613978566334.png)
 
-  解释：什么样的参数跟我们的数据组合后恰好是真实值
+  解释：为什么引入，什么样的参数跟我们的数据组合后恰好是真实值
 
 - 对数似然：![1613978607945](assets/1613978607945.png)
 
@@ -97,5 +97,57 @@
 
 - 目标函数：![1614044218548](assets/1614044218548.png)
 - 求偏导：![1614044234709](assets/1614044234709.png)
-- 偏导等于0：![1614044250549](assets/1614044250549.png)
+- 偏导等于0的最优解：![1614044250549](assets/1614044250549.png)
+
+
+
+### 梯度下降
+
+#### 通俗理解
+
+- 引入：当我们得到了一个目标函数后，如何求解？（并不一定可解，线性回归可以当做是一个特例）
+- 常规套路：机器学习的套路就是我们交给机器一堆数据，然后告诉它什么样的学习方式是对的（目标函数），然后让它朝着这个方向去做
+- 如何优化：一步步的完成迭代。![1614051473653](assets/1614051473653.png)
+
+#### 参数更新方法
+
+- 目标函数：![1614053992861](assets/1614053992861.png)
+
+  > θ0和θ1分别得出方向，最终找到综合的结果。
+
+- 寻找山谷的最低点，也就是我们的目标函数终点
+
+- 下山分多步走（更新参数）
+
+  1. 找到最合适的方向
+  2. 每次走一小步
+  3. 按照方向和步伐更新参数
+
+![1614054121928](assets/1614054121928.png)
+
+梯度下降，目标函数：![1614054304093](assets/1614054304093.png)
+
+- 批量梯度下降：![1614054320647](assets/1614054320647.png)
+
+  （容易得到最优解，但由于每次考虑所有样本，速度很慢）
+
+- 随机梯度下降：![1614054359779](assets/1614054359779.png)
+
+  （每次找到一个样本，迭代速度快，但不一定每次都朝着收敛的方向）
+
+- 小批量梯度下降发：![1614054402887](assets/1614054402887.png)
+
+  （每次更新选择一小部分数据来算）
+
+
+
+#### 学习率（步长）
+
+> 上面小批量梯度公式里的α
+
+- 学习率（步长）：对结果会产生巨大的影响，一般小一些
+- 如何选择：从小的开始，知道不能再小
+- 批处理数：32、64、128都可以，很多时候还要考虑资源和时间
+
+![1614062404175](assets/1614062404175.png)