Add Solving Strategies of Over-Fitting in Neural networks

深度学习入门/第二章——走进深度学习的世界 神经网络模型.md

@@ -106,4 +106,25 @@
 
 - Relu：![1609376004260](assets/1609376004260.png)
 
-  > 市面上绝大多数神经网络用的激活函数，这个是绝对会有梯度，不会出现梯度消失。
+  > 市面上绝大多数神经网络用的激活函数，这个是绝对会有梯度，不会出现梯度消失。
+
+
+
+#### 神经网络过拟合解决方法
+
+- 不同的预处理结果会使模型的结果发生很大的差异：
+
+  ![1609376154021](assets/1609376154021.png)
+
+  > 如常见的标准化
+
+- 参数初始化：通常使用随机策略进行参数初始化
+
+  ![1609376305237](assets/1609376305237.png)
+
+- DROP-OUT：在神经网络训练过程中，随机去掉部分神经元，以减少神经元的个数，并不是简单的去掉部分，而且每次训练都随机去掉部分。
+
+  ![1609376454005](assets/1609376454005.png)
+
+  > 这样保证每次训练的神经网络都相对简单，每次训练可以DROP-OUT一部分神经元
+