diff --git a/机器学习算法理论及应用/李航——统计学习方法/7.支持向量机——升维打击.md b/机器学习算法理论及应用/李航——统计学习方法/7.支持向量机——升维打击.md index 7c028ed..21b8183 100644 --- a/机器学习算法理论及应用/李航——统计学习方法/7.支持向量机——升维打击.md +++ b/机器学习算法理论及应用/李航——统计学习方法/7.支持向量机——升维打击.md @@ -114,4 +114,57 @@ Summarization 2. 构造出来的超平面使得其与最近的点的距离最大。 3. SVM也可划分非线性数据集。 4. 它通过高维中的线性超平面再低维中的投影来完成非线性的划分。因此从直观上来讲,我们的模型必定有一个升维的操作。 -5. 这是总体的概念。 \ No newline at end of file +5. 这是总体的概念。 + + + +### 支持向量机 + +Support vector machines + +函数间隔:![1619585515305](assets/1619585515305.png) + +几何间隔:![1619585510005](assets/1619585510005.png) + +这里使用的是几何间隔,前面讲到这里就不重复了 + + + +**最大间隔分离超平面:** + +目前讲的是线性超平面 + +![1619585608306](assets/1619585608306.png) + +> 图中心,虚线到实线的距离我们称之为γ,我们要做的是最大化γ,使得这个超平面调整为γ的一个最大值,等价于找到了最优的超平面 + +![1619585628157](assets/1619585628157.png) + +> γ:表示几何间隔 +> +> s.t. 表示约束 +> +> yi:正负1。保证算出来的数始终是大于0的,如上图中“圈”表示+1的样本“×”表示负一的样本,那么某个“圈”是正数,乘以上方的yi(正数),正正得正,某个点“×”是负数,乘以下方的yi(负数),负负得正。 + +**简化上方的式子:** + +我们知道max的γ是几何间隔,那么我们变换一下 +$$ +\frac{\hat{γ}}{||w||} 其中,\hat{γ}表示函数间隔,除以w二范数就是几何间隔了。 +$$ + +$$ +既然我们最终是\frac{\hat{γ}}{||w||} ,那么式子我们可以简化成 +$$ + +$$ +y_i(wx_i+b)≥\hat{γ},其中\hat{γ}是函数间隔 +$$ + + + + + + + +![1619585642761](assets/1619585642761.png) \ No newline at end of file diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1619585510005.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1619585510005.png new file mode 100644 index 0000000..4b3415a Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1619585510005.png differ diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1619585515305.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1619585515305.png new file mode 100644 index 0000000..3626d08 Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1619585515305.png differ diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1619585608306.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1619585608306.png new file mode 100644 index 0000000..ab692c1 Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1619585608306.png differ diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1619585628157.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1619585628157.png new file mode 100644 index 0000000..e16fb8b Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1619585628157.png differ diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1619585642761.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1619585642761.png new file mode 100644 index 0000000..521047e Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1619585642761.png differ