diff --git a/深度学习入门/assets/1609386518724.png b/深度学习入门/assets/1609386518724.png new file mode 100644 index 0000000..c56750c Binary files /dev/null and b/深度学习入门/assets/1609386518724.png differ diff --git a/深度学习入门/assets/1609463898618.png b/深度学习入门/assets/1609463898618.png new file mode 100644 index 0000000..e9d37fe Binary files /dev/null and b/深度学习入门/assets/1609463898618.png differ diff --git a/深度学习入门/assets/1609464833488.png b/深度学习入门/assets/1609464833488.png new file mode 100644 index 0000000..b913d77 Binary files /dev/null and b/深度学习入门/assets/1609464833488.png differ diff --git a/深度学习入门/assets/1609464902930.png b/深度学习入门/assets/1609464902930.png new file mode 100644 index 0000000..9880ab7 Binary files /dev/null and b/深度学习入门/assets/1609464902930.png differ diff --git a/深度学习入门/assets/1609465049960.png b/深度学习入门/assets/1609465049960.png new file mode 100644 index 0000000..598d18d Binary files /dev/null and b/深度学习入门/assets/1609465049960.png differ diff --git a/深度学习入门/assets/1609465201423.png b/深度学习入门/assets/1609465201423.png new file mode 100644 index 0000000..b9f7348 Binary files /dev/null and b/深度学习入门/assets/1609465201423.png differ diff --git a/深度学习入门/assets/2021010109030000.gif b/深度学习入门/assets/2021010109030000.gif new file mode 100644 index 0000000..320de5f Binary files /dev/null and b/深度学习入门/assets/2021010109030000.gif differ diff --git a/深度学习入门/第三章——卷积神经网络.md b/深度学习入门/第三章——卷积神经网络.md index a2c0ca8..94d64c6 100644 --- a/深度学习入门/第三章——卷积神经网络.md +++ b/深度学习入门/第三章——卷积神经网络.md @@ -112,4 +112,65 @@ CV领域发展: ![1609385564766](assets/1609385564766.png) - \ No newline at end of file +- 卷积参数共享:即input使用的W部分的参数是共享的,卷积网络比之前的全连接大大减少了参数,不再需要每个对应的W。 + + + +#### 池化层的作用 + +将原始input的所有数据,进行压缩 + +![1609386518724](assets/1609386518724.png) + +> 减少长宽以减少数据量的体积。 + +最大池化MAX POOLING: + +![2021010109030000](assets/2021010109030000.gif) + +- 如上图,从可选中,选出最大的值。为什么选择最大的值,因为前面是有权重W相乘的,还记得前面的W0和W1吗,如果计算完成得到的结果最大,那说明该结果是最重要的,所以这里选最大的,即挑最重要的。 + +- 体积也从上图的2×2矩阵变成4×4的矩阵 + +- 除了最大池化还有平均池化,不过平均池化基本没人用,既然有最好的结果,就应该拿最好的。 + +- 池化层没有结果任何计算,只是选最大的 + + + +#### 整体网络架构 + +只有带参数的才能算层,Relu和池化不算 + +![1609463898618](assets/1609463898618.png) + +将一张图,通过不断卷积、池化、最后变成一条向量,接上全连接层,进行分类。 + + + +#### 残差网络ResNet + +深度网络遇到的问题:越大的层数理论上意味着越好,但实际是这样吗?下面是一组很早前测试的图 + +![1609464833488](assets/1609464833488.png) + +> 左边的训练集和右边的预测集都是20层的反而比56层的好,那么说明多出的36层起负作用。 + +解决方案: + +![1609464902930](assets/1609464902930.png) + +> 我们还是跟原来一样增加层数,但在此基础上增加残差,也就是如果多的一层网络效果并不比上一层好,那么依然使用上一层的结果,可以看到X直接跳过了两层,这样就能保证了效果一定是越来越好的。 + +传统神经网络和Resnet的对比 + +![1609465049960](assets/1609465049960.png) + +> ResNet是层数越多效果越好。 + +下图是某个比赛中,冠军方案使用ResNet的层数是152层,第二名的22层有6.7的残差,而第一名的152层只有3.57的残差,相差近一倍的效果 + +![1609465201423](assets/1609465201423.png) + +> 当然层数越多,可能收益越少,但是保证残差一定是小于等于之前的低层数,也就是结果一定是向好的发展。 +