diff --git a/机器学习算法理论及应用/李航——统计学习方法/5.决策树——每次选一边.md b/机器学习算法理论及应用/李航——统计学习方法/5.决策树——每次选一边.md index ee7eb44..a7485bf 100644 --- a/机器学习算法理论及应用/李航——统计学习方法/5.决策树——每次选一边.md +++ b/机器学习算法理论及应用/李航——统计学习方法/5.决策树——每次选一边.md @@ -65,3 +65,33 @@ Information entropy ![1618576770871](assets/1618576770871.png) +> 面试可能会问到这个公式,还有交叉熵、相对熵 + +熵越大,则随机变量的不确定性越大。其中0 ≤ H(P) ≤ log n + + + +### 举例计算 + +Example + +假设投色子,6个的概率分别是1/6,计算如下: + +![1618577639913](assets/1618577639913.png) + +> 其中6个1/6(log左边的六分之一)加起来就是1 + +![1618577661694](assets/1618577661694.png) + +> ![1618577700910](assets/1618577700910.png) + +则最终=log6 + +这也解释了为什么上面H(P) ≤ log n + +另外,均由分布的时候,熵最大,因为所有可能都是一样的,如上面的6个面都是1/6。 + + + +如果有1个坏苹果和9个好苹果时,我们可以认为大部分都是坏苹果。内部并不混乱,确定性很大,熵很小。 + diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1618577639913.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1618577639913.png new file mode 100644 index 0000000..ecd64f3 Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1618577639913.png differ diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1618577661694.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1618577661694.png new file mode 100644 index 0000000..eee41e8 Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1618577661694.png differ diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1618577700910.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1618577700910.png new file mode 100644 index 0000000..218f6d5 Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1618577700910.png differ