Add. Example

机器学习算法理论及应用/李航——统计学习方法/5.决策树——每次选一边.md

@@ -65,3 +65,33 @@ Information entropy
 
 ![1618576770871](assets/1618576770871.png)
 
+> 面试可能会问到这个公式，还有交叉熵、相对熵
+
+熵越大，则随机变量的不确定性越大。其中0 ≤ H(P) ≤ log n
+
+
+
+### 举例计算
+
+Example
+
+假设投色子，6个的概率分别是1/6，计算如下：
+
+![1618577639913](assets/1618577639913.png)
+
+> 其中6个1/6（log左边的六分之一）加起来就是1
+
+![1618577661694](assets/1618577661694.png)
+
+> ![1618577700910](assets/1618577700910.png)
+
+则最终=log6
+
+这也解释了为什么上面H(P) ≤ log n
+
+另外，均由分布的时候，熵最大，因为所有可能都是一样的，如上面的6个面都是1/6。
+
+
+
+如果有1个坏苹果和9个好苹果时，我们可以认为大部分都是坏苹果。内部并不混乱，确定性很大，熵很小。
+