diff --git a/机器学习算法理论及应用/李航——统计学习方法/3.K近邻——物以类聚.md b/机器学习算法理论及应用/李航——统计学习方法/3.K近邻——物以类聚.md index a88f6df..6cb7e2e 100644 --- a/机器学习算法理论及应用/李航——统计学习方法/3.K近邻——物以类聚.md +++ b/机器学习算法理论及应用/李航——统计学习方法/3.K近邻——物以类聚.md @@ -89,4 +89,55 @@ How to chose K **在应用中**: -​ 先取一个较小的K值,再通过交叉验证法来选取最优的K值 \ No newline at end of file +​ 先取一个较小的K值,再通过交叉验证法来选取最优的K值 + + + +### 分数表决规则 + +Majority voting rule + +分类决策规则:多数表决 + +损失函数:![1618403216249](assets/1618403216249.png) + +![1618403248798](assets/1618403248798.png) + +实心圆内都判断为红色的损失值 + +![1618403277362](assets/1618403277362.png) + +![1618403284982](assets/1618403284982.png) + +实心圆内都判断为蓝色的损失值 + +![1618403333677](assets/1618403333677.png) + + + +### K近邻算法 + +K-nearest neighbor + +输入:训练数据T = [(x1, y1),...,(xn,yn)] + +![1618403482744](assets/1618403482744.png)实例特征向量x。 + +1. 根据给定的距离度量,在训练集中找到与x最近的k个点,涵盖这k个点的邻域记作Nk(x) + +2. 在Nk(x)中根据分类决策规则(如多少表决)决定x的类别y + + 输出实例x所属的类别y + +![1618403629320](assets/1618403629320.png) + + + +### 总结 + +Summarization + +1. K近邻的思想:物以类聚 +2. K近邻没有显式的训练过场 +3. 距离度量:欧式距离、曼哈顿距离、切比雪夫距离 +4. 分类方式:多数表决规则 \ No newline at end of file diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1618403216249.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1618403216249.png new file mode 100644 index 0000000..35e7424 Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1618403216249.png differ diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1618403248798.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1618403248798.png new file mode 100644 index 0000000..9802856 Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1618403248798.png differ diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1618403277362.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1618403277362.png new file mode 100644 index 0000000..b4f8d5b Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1618403277362.png differ diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1618403284982.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1618403284982.png new file mode 100644 index 0000000..ff5562d Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1618403284982.png differ diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1618403333677.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1618403333677.png new file mode 100644 index 0000000..fa2cf2e Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1618403333677.png differ diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1618403482744.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1618403482744.png new file mode 100644 index 0000000..8cef6f8 Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1618403482744.png differ diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1618403629320.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1618403629320.png new file mode 100644 index 0000000..1635e67 Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1618403629320.png differ