Create 熵与激活函数

必备数学基础.md

@@ -686,4 +686,24 @@ K(x, y) = (4+10+18)^2 = 32^2 = 1024
 
 显然A集合才是我们希望得到的结果，它的熵值表现是非常小的。
 
-比如我们手上有一份数据，有两个指标性别和资产，判断是否给该用户贷款，性别和资产分组完后，如果资产熵值小，那么我们可以认为资产对是否可以贷款的影响更重要。
+比如我们手上有一份数据，有两个指标性别和资产，判断是否给该用户贷款，性别和资产分组完后，如果资产熵值小，那么我们可以认为资产对是否可以贷款的影响更重要。
+
+#### 激活函数（Sigmoid函数）
+
+- Sigmoid是常用的非线性激活函数
+- 能够把连续值压缩到0-1区间，不断的下降
+- 缺点：杀死梯度，非原点中心对称
+
+![1604731377718](assets/1604731377718.png)
+
+解决当正负样本不好分类的时候，无法用线性分割，那么用一个概率值去定义一个样本是否是正负，比如大于0.5定义为正，否则是负。
+
+又如5分类任务时，我们可以输出成以下形式
+
+| 样本 | 类别1 | 类别2 | 类别3 | 类别4 | 类别5 |
+| ---- | ----- | ----- | ----- | ----- | ----- |
+| A    | 0.1   | 0.9   | 0.3   | 0.6   | 0.1   |
+| B    | 0.9   | 0.1   | 0.1   | 0.1   | 0.1   |
+| C    | 0.1   | 0.1   | 0.1   | 0.1   | 0.6   |
+
+如上所示，我们可以认为A是类别2和类别4的，B是类别1的，C是类别5的。