diff --git a/深度学习入门/assets/1609376305237.png b/深度学习入门/assets/1609376305237.png new file mode 100644 index 0000000..8ecf9da Binary files /dev/null and b/深度学习入门/assets/1609376305237.png differ diff --git a/深度学习入门/assets/1609376454005.png b/深度学习入门/assets/1609376454005.png new file mode 100644 index 0000000..73112e1 Binary files /dev/null and b/深度学习入门/assets/1609376454005.png differ diff --git a/深度学习入门/第二章——走进深度学习的世界 神经网络模型.md b/深度学习入门/第二章——走进深度学习的世界 神经网络模型.md index 3ce73e7..a4d56b9 100644 --- a/深度学习入门/第二章——走进深度学习的世界 神经网络模型.md +++ b/深度学习入门/第二章——走进深度学习的世界 神经网络模型.md @@ -106,4 +106,25 @@ - Relu:![1609376004260](assets/1609376004260.png) - > 市面上绝大多数神经网络用的激活函数,这个是绝对会有梯度,不会出现梯度消失。 \ No newline at end of file + > 市面上绝大多数神经网络用的激活函数,这个是绝对会有梯度,不会出现梯度消失。 + + + +#### 神经网络过拟合解决方法 + +- 不同的预处理结果会使模型的结果发生很大的差异: + + ![1609376154021](assets/1609376154021.png) + + > 如常见的标准化 + +- 参数初始化:通常使用随机策略进行参数初始化 + + ![1609376305237](assets/1609376305237.png) + +- DROP-OUT:在神经网络训练过程中,随机去掉部分神经元,以减少神经元的个数,并不是简单的去掉部分,而且每次训练都随机去掉部分。 + + ![1609376454005](assets/1609376454005.png) + + > 这样保证每次训练的神经网络都相对简单,每次训练可以DROP-OUT一部分神经元 +