diff --git a/深度学习入门/1609314876275.png b/深度学习入门/1609314876275.png new file mode 100644 index 0000000..a4924a3 Binary files /dev/null and b/深度学习入门/1609314876275.png differ diff --git a/深度学习入门/assets/1609313400358.png b/深度学习入门/assets/1609313400358.png new file mode 100644 index 0000000..5f63cbc Binary files /dev/null and b/深度学习入门/assets/1609313400358.png differ diff --git a/深度学习入门/assets/1609313438317.png b/深度学习入门/assets/1609313438317.png new file mode 100644 index 0000000..cd2b2f7 Binary files /dev/null and b/深度学习入门/assets/1609313438317.png differ diff --git a/深度学习入门/assets/1609313874088.png b/深度学习入门/assets/1609313874088.png new file mode 100644 index 0000000..d542758 Binary files /dev/null and b/深度学习入门/assets/1609313874088.png differ diff --git a/深度学习入门/assets/1609313994725.png b/深度学习入门/assets/1609313994725.png new file mode 100644 index 0000000..f39887c Binary files /dev/null and b/深度学习入门/assets/1609313994725.png differ diff --git a/深度学习入门/assets/1609314876275.png b/深度学习入门/assets/1609314876275.png new file mode 100644 index 0000000..a4924a3 Binary files /dev/null and b/深度学习入门/assets/1609314876275.png differ diff --git a/深度学习入门/assets/1609314948479.png b/深度学习入门/assets/1609314948479.png new file mode 100644 index 0000000..7a142b1 Binary files /dev/null and b/深度学习入门/assets/1609314948479.png differ diff --git a/深度学习入门/第一章——深度学习必备知识点.md b/深度学习入门/第一章——深度学习必备知识点.md index e0bcab6..dca104d 100644 --- a/深度学习入门/第一章——深度学习必备知识点.md +++ b/深度学习入门/第一章——深度学习必备知识点.md @@ -154,6 +154,8 @@ cat = max(0, 5.1 - 3.2 + 1) + max(0, -1.7 - 3.2 + 1) ​ = 2.9 + 0 = 2.9 +> max(0, x)的意思是x大于0取x,小于0则取0 + car = max(0, 1.3 - 4.9 + 1) + max(0, 2.0 - 4.9 + 1) ​ = max(0, -2.6) + max(0, -1.9) diff --git a/深度学习入门/第二章——走进深度学习的世界 神经网络模型.md b/深度学习入门/第二章——走进深度学习的世界 神经网络模型.md index 5e276ca..20be43f 100644 --- a/深度学习入门/第二章——走进深度学习的世界 神经网络模型.md +++ b/深度学习入门/第二章——走进深度学习的世界 神经网络模型.md @@ -8,3 +8,44 @@ 如何让 f 值更小,就是改变x、y、z,而损失函数也是这样,那么我们分别求偏导,则能得出每个值对结果的影响![1609311878585](assets/1609311878585.png) +**链式法则** + +- 梯度是一步一步传的 + + ![1609312362417](assets/1609312362417.png) + +复杂的例子:![1609313400358](assets/1609313400358.png) + +![1609313438317](assets/1609313438317.png) + + + +#### 神经网络整体架构 + +类生物神经元 + +![1609313874088](assets/1609313874088.png) + +> 左半边是生物学上的神经元,右半边是数学上的“神经元”,可以说是非常像。 + +整体架构 + +![1609313994725](assets/1609313994725.png) + +- input layer输入层:比如输入X,有多少个x即有多少个input,比如前面的猫有3千多像素点,那么就有3千多个“圈”进行input。 + +- hidden layer 1:指将X做了某些变换,且每个圈与前者的全部圈都连接,即是全连接,为什么多了1个圈,是表示可能会在原始特征的基础上做变换,变成4个特征。具体如:假设X输入的是年龄,第一圈表示对年龄做平方,第二个圈表示将年龄与其它值相加相乘等等。 +- W1:input是3个,hidden layer 1是4个,那么夹在中间的W1就是[3,4]的权重矩阵。 + +- hidden layer 2:指在1的基础上再进行变换,防止如果hidden layer 1的效果不好,那么加多一层,进行再加工。 +- W2:hidden layer 1是4个,hidden layer 2是4个,那么夹在中间的W2就是[4,4]的权重矩阵。 + +- output layer:输出结果。 +- W3:hidden layer 2是4个,output layer 2是1个,那么夹在中间的W3就是[4,1]的权重矩阵。 + +整体大致公式: + +- 基本架构:![1609314876275](1609314876275.png) +- 继续堆叠一层:![1609314948479](assets/1609314948479.png) + +- 神经网络的强大之处在于,用更多的参数来拟合复杂的数据 \ No newline at end of file