diff --git a/机器学习算法理论及应用/李航——统计学习方法/7.支持向量机.md b/机器学习算法理论及应用/李航——统计学习方法/7.支持向量机.md index 887dbbc..ef43f88 100644 --- a/机器学习算法理论及应用/李航——统计学习方法/7.支持向量机.md +++ b/机器学习算法理论及应用/李航——统计学习方法/7.支持向量机.md @@ -64,5 +64,42 @@ Knowledge tree -### 多维 +### 升维可分问题 +1. 当有人拿着棍子指着你时,你只能看到棍子的横截面,是一个点,它是一维的。我们无法将两个点区分开来。因为她们重叠了。 + + ![1619232957172](assets/1619232957172.png) + + > 右边红色线表示看的方向 + +2. 当有人拿着棍子指着其它地方,我们能看到整个棍子,这时候是二维的。我们可以一把刀劈开,把红豆和绿豆区分开。所以,红豆和绿豆虽然在一维的时候不能分开,但在二维时线性可分了。 + + ![1619234003387](assets/1619234003387.png) + +3. 也可能二维不可分, 如下图 + + ![1619234073290](assets/1619234073290.png) + +4. 这时候我们可以把棍子看作三维中的棍子,有体积的。如果把棍子立在地上,很有可能红豆靠南侧,绿豆靠北侧,我们像劈柴一样从上至下即可劈开(分开),也一样是线性可分。 + +5. 如果三维还不能线性可分,那就升到思维 + +**总会从某一个维度开始,它变成线性可分了,即只要不断的增加维度(特征)总能区分开来** + +同时,我们发现高维中的超平面,映射到低维空间中时,可能会变成曲线或其它的划分形式。 + +这也就是为什么,在SVM中我们同样使用超平面来划分,SVM可以划分非线性的数据集。 + +它本质上仍然是线性超平面,不过是高维中的线性超平面。 + + + +**那么升维一定会线性可分吗?** + +**会不会升到无穷维了仍然线性不可分?** + +答案是不会的,首先要明白,我们的数据集一定是基于真实的某种分布,分为A类的样本和B类的一定在本质上有区别。只要有区别,就一定可以区分开来,一定在某个高维度上线性可分。 + +**另外,总能上升到有个维度空间中线性可分,无限上升的同时有没有可能在N+1维度又不可分了?** + +不会,随着维度的上升,我们获得的信息越来越多。当第N维的数据已经足够划分时,更多的信息量并不会出现又不可分的情况。 \ No newline at end of file diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1619232957172.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1619232957172.png new file mode 100644 index 0000000..1e2b1aa Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1619232957172.png differ diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1619234003387.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1619234003387.png new file mode 100644 index 0000000..473bdf4 Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1619234003387.png differ diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1619234073290.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1619234073290.png new file mode 100644 index 0000000..1f10e1a Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1619234073290.png differ