Add Regularization and activation function

深度学习入门/第二章——走进深度学习的世界 神经网络模型.md

@@ -45,7 +45,7 @@
 
 整体大致公式：
 
-- 基本架构：![1609314876275](1609314876275.png)
+- 基本架构：![1609314876275](assets/1609314876275.png)
 - 继续堆叠一层：![1609314948479](assets/1609314948479.png)
 
 - 神经网络的强大之处在于，用更多的参数来拟合复杂的数据
@@ -75,3 +75,35 @@
 ![1609318694326](assets/1609318694326.png)
 
 这就是神经网络的强大之处，越多神经元区分的越明显，不过也可能存在过拟合，因为太强大了。
+
+
+
+#### 正则化与激活函数
+
+- 惩罚力度对结果的影响：
+
+![1609375337258](assets/1609375337258.png)
+
+> 惩罚力度过小（左图），导致的结果是过拟合，有几个红色点明明应该更靠近绿色也被评定为红色。这些一般是训练集的情况，有标签能学到，但是在测试集可能就是灾难了。随着lambda的增大，切分的会相对平滑。
+
+- 参数个数对结果的影响：
+
+![1609375557007](assets/1609375557007.png)
+
+> 同样，神经元个数越多，也越容易过拟合
+
+- 激活函数
+
+![1609375641306](assets/1609375641306.png)
+
+> 做非线性变换，如Sigmoid、Relu、Tanh等
+
+激活函数对比
+
+- Sigmoid：![1609375872490](assets/1609375872490.png)
+
+  > 其缺点是，靠两边的线过于平缓，无法计算梯度或者约等于0，那么值就不会进行更新或者前向传播，而我们恰恰需要传播来更新我们的W值（前面讲到）
+
+- Relu：![1609376004260](assets/1609376004260.png)
+
+  > 市面上绝大多数神经网络用的激活函数，这个是绝对会有梯度，不会出现梯度消失。