Update 必备数学基础.md

必备数学基础.md

@@ -663,3 +663,27 @@ K(x, y) = (4+10+18)^2 = 32^2 = 1024
 
 > 原σ在下面，注意上面的公式||x - x'||^2 / 2σ^2，这里移上去了，所以前面加上负号，第一个是负1，第二个是负10，第三个是负100
 
+
+
+### 熵和激活函数
+
+#### 熵的概念
+
+- 物体内部的混乱程度。（一件事发生的不确定性）
+- ![1604729221090](assets/1604729221090.png)
+
+- 所有的概率值都在0-1之间，那么最终H(X)必然也是一个正数
+
+#### 熵的大小意味着
+
+- 假如有100个商品，那么选到某个商品的概率非常低，而如果商品只有几个，那么选到某个商品的概率非常高
+- 如公式，商品越多，所有log后的值就越高，且公式是求和，那么值就更大
+
+想象一个分类任务，我们希望得到如下的那种结果
+
+- A[1,1,1,1,1,1,1,1,1,1,1]
+- B[1,2,3,4,5,3,4,2,2,1,1]
+
+显然A集合才是我们希望得到的结果，它的熵值表现是非常小的。
+
+比如我们手上有一份数据，有两个指标性别和资产，判断是否给该用户贷款，性别和资产分组完后，如果资产熵值小，那么我们可以认为资产对是否可以贷款的影响更重要。