diff --git a/深度学习入门/assets/1609292913300.png b/深度学习入门/assets/1609292913300.png new file mode 100644 index 0000000..0da01a7 Binary files /dev/null and b/深度学习入门/assets/1609292913300.png differ diff --git a/深度学习入门/assets/1609296031349.png b/深度学习入门/assets/1609296031349.png new file mode 100644 index 0000000..f6cc50a Binary files /dev/null and b/深度学习入门/assets/1609296031349.png differ diff --git a/深度学习入门/assets/1609296720418.png b/深度学习入门/assets/1609296720418.png new file mode 100644 index 0000000..79d7c0d Binary files /dev/null and b/深度学习入门/assets/1609296720418.png differ diff --git a/深度学习入门/assets/1609297367586.png b/深度学习入门/assets/1609297367586.png new file mode 100644 index 0000000..c6e2d59 Binary files /dev/null and b/深度学习入门/assets/1609297367586.png differ diff --git a/深度学习入门/assets/1609297561822.png b/深度学习入门/assets/1609297561822.png new file mode 100644 index 0000000..5aed6be Binary files /dev/null and b/深度学习入门/assets/1609297561822.png differ diff --git a/深度学习入门/assets/1609308126418.png b/深度学习入门/assets/1609308126418.png new file mode 100644 index 0000000..d5290db Binary files /dev/null and b/深度学习入门/assets/1609308126418.png differ diff --git a/深度学习入门/assets/1609308398263.png b/深度学习入门/assets/1609308398263.png new file mode 100644 index 0000000..f8e1874 Binary files /dev/null and b/深度学习入门/assets/1609308398263.png differ diff --git a/深度学习入门/assets/1609309168103.png b/深度学习入门/assets/1609309168103.png new file mode 100644 index 0000000..b32f2bc Binary files /dev/null and b/深度学习入门/assets/1609309168103.png differ diff --git a/深度学习入门/assets/1609309191428.png b/深度学习入门/assets/1609309191428.png new file mode 100644 index 0000000..501effe Binary files /dev/null and b/深度学习入门/assets/1609309191428.png differ diff --git a/深度学习入门/assets/1609309232205.png b/深度学习入门/assets/1609309232205.png new file mode 100644 index 0000000..01791b3 Binary files /dev/null and b/深度学习入门/assets/1609309232205.png differ diff --git a/深度学习入门/assets/1609309309120.png b/深度学习入门/assets/1609309309120.png new file mode 100644 index 0000000..b823fc8 Binary files /dev/null and b/深度学习入门/assets/1609309309120.png differ diff --git a/深度学习入门/第一章 深度学习必备知识点.md b/深度学习入门/第一章 深度学习必备知识点.md index f72f78d..33b4b91 100644 --- a/深度学习入门/第一章 深度学习必备知识点.md +++ b/深度学习入门/第一章 深度学习必备知识点.md @@ -43,6 +43,8 @@ > 如上图,将一个图像,分解成多个维度并变换成数值,变成机器可认识的。 + + #### 深度学习应用领域 自动驾驶: @@ -63,6 +65,8 @@ ![1609231974586](assets/1609231974586.png) + + #### 计算机视觉任务 如图像分类任务,如何把一张猫的图片,分到猫的类别(有一些列的标签:人、笔、飞机、猫 等等) @@ -95,3 +99,105 @@ 这些都是可能遇到得问题,如何解决可以给一些遮蔽的样本,这些都是数据量可以解决的。 + + +#### 得分函数 + +线性函数 + +- 从输入——>输出的映射 + + ![1609292913300](assets/1609292913300.png) + + 每个像素点对结果产生影响,而每个像素点有对应的权重。 + +- 数学表示 + + ![1609296031349](assets/1609296031349.png) + + `32*32*3`=3072个X(像素点),假设需要分类的类别一共有10个,那么这3072个X在这10个W(类别)中有着不同的权重得分,还有b偏值项,最终最高 得分 的就是预测的分类。 + +- 计算方法 + + ![1609296720418](assets/1609296720418.png) + + 为了计算简单,假设这种猫只有4个像素点,分别是56、231、24、2,分成3个类别(猫、狗、船),其中W有3行对应3个类别,且Wi有4个值对应4个像素点,我们来计算第一行,`W*X+b = `0.2*56+(-0.5)*231+0.1*24+2.0*2+1.1`=-97.9+1.1=-96.8,这样就得到了结果。 + + 当权重Wi比较大时,说明该像素点对结果的影响比较重要,正值代表促进作用,负值代表抑制作用。 + + - W矩阵怎么来的:一开始是假设了一个,然后根据结果不断优化,就想上面的预测是把猫预测成了狗437.9,那么神经网络会不断迭代W矩阵中的值。 + + 现在我们知道上面的结果不够好,那么我们应该怎样让它变好。 + + + +#### 损失函数 + +- 如何衡量分类的结果 +- 怎么明确模型当前的效果是好是坏。 + +##### 其中一种损失函数(回归任务):![1609297367586](assets/1609297367586.png) + +实验: + +![1609297561822](assets/1609297561822.png) + +假设我们运行完模型,得到上面这么个结果,第一张图评定为猫3.2为车5.1明显不合理,如果利用上面的公式,就是5.1-3.2=1.9,值越大表明预测越离谱,小于0则表示没有误差。 + +而+1是为了防止一种情况是,如果预测的car不是5.1而是3.15,那么3.15-3.2也小于0,但是能明确的说预测没问题吗?或许不能吧,因为只有一点偏差可能是“刚刚好”预测对了,那么+1就可以防止这种情况,预测对的值一定要远大于预测错的值。 + +计算: + +cat = max(0, 5.1 - 3.2 + 1) + max(0, -1.7 - 3.2 + 1) + +​ = max(0, 2.9) + max(0, -3.9) + +​ = 2.9 + 0 = 2.9 + +car = max(0, 1.3 - 4.9 + 1) + max(0, 2.0 - 4.9 + 1) + +​ = max(0, -2.6) + max(0, -1.9) + +​ = 0 + 0 = 0 + +frog = max(0, 2.2 - (-3.1) + 1) + max(0, 2.5 - (-3.1) + 1) + +​ = max(0, 5.3) + max(0, 5.6) + +​ = 5.3 + 5.6 = 10.9 + +其中car预测最好,frog的预测最差 + + + +损失函数的值相同,意味着两个模型一样吗? + +- 还是这个公式:![1609308126418](assets/1609308126418.png) + +- 输入数据:X = [1, 1, 1, 1] + - 模型A:w1 = [1, 0, 0, 0] + - 模型B:w2 = [0.25, 0.25, 0.25, 0.25] +- 两者的结果都等于1,那两者的可以说一样吗?,是不是模型B的W更可靠。那么损失函数还得加入一个东西 + +损失函数 = 数据损失 + 正则化惩罚项 + +- 正则化惩罚项:![1609308398263](assets/1609308398263.png) +- 正则化惩罚项关注权重w,w越大则该公式的结果越大,我们希望模型不要太复杂,过拟合的模型是没用的。往往还有个 λ 。 + +回归任务的解决了,还有分类任务的。 + + + +##### Softmax分类器(分类任务) + +- 归一化:![1609309168103](assets/1609309168103.png)where![1609309191428](assets/1609309191428.png) + +- 计算损失值:![1609309232205](assets/1609309232205.png) + +举例: + +![1609309309120](assets/1609309309120.png) + +> 其中3.2exp表示e^3.2=24.5,24.5normalize表示24.5 / (24.5+164+0.18) = 0.13,这就是概率,同时我们再做-log(0.13)可以得到0.89这个损失值,log(1)的时候为0,即没有损失,表示概率值越接近于1损失的越少。 + +这些都是前向传播,一步步的得到损失值,那么如何以损失值来更新W更新模型呢,这就是反向传播。 \ No newline at end of file