diff --git a/机器学习算法理论及应用/李航——统计学习方法/6.逻辑斯蒂回归与最大熵.md b/机器学习算法理论及应用/李航——统计学习方法/6.逻辑斯蒂回归与最大熵.md index 73ed4ed..f84fbca 100644 --- a/机器学习算法理论及应用/李航——统计学习方法/6.逻辑斯蒂回归与最大熵.md +++ b/机器学习算法理论及应用/李航——统计学习方法/6.逻辑斯蒂回归与最大熵.md @@ -92,3 +92,123 @@ Summarization A story about the Maximum entropy model +我们去到拉斯维加斯赌场 + +问1:我手里有个骰子,问你扔下去后某个面朝上的概率是多少? + +答1:都是1/6,因为概率相同 + + + +问2:我竟然认为有道理,可如果是老千手里的骰子呢?你还觉得是1/6吗? + +答2:可是你没说是老千手里的 + + + +问3:可是为什么你不去假设可能是老千手里的骰子这种情况? + +答3:因为你没说是老千手里的 + + + +问4:好像是这么个道理,如果要考虑老千,那可能还要考虑骰子是否破损,桌面是否有问题 + +答4:所以1/6最保险 + + + +问5:如果我告诉你,1朝上的概率是1/2呢? + +答5:那剩下的就是1/10 + + + +**什么是最大熵?** + +在我们猜测概率时,不确定的部分我们认为是等可能的,就像骰子一样,我们知道有6个面,因此认为每个面的概率是1/6,也就是等可能。 + +换句话说,就是趋向于均匀分布,最大熵使用的就是这么朴素的道理: + +​ 凡是我们知道的,就把它考虑进去,凡是不知道的,通通均匀分布。 + + + +### 最大熵模型 + +Maximum entropy model + +终极目标:P(Y|X) + +熵:![1619102072918](assets/1619102072918.png) + +将终极目标代入熵: + +![1619102101155](assets/1619102101155.png) + +做些改变,调整熵: + +![1619102153364](assets/1619102153364.png) + +我们手里有训练集,包含所有样本及对应的标签。 + +![1619102378061](assets/1619102378061.png) + +> v表示数目,满足X=x,Y=y的数目 +> +> 统计出来概率,通过频数 + +![1619102385980](assets/1619102385980.png) + + + +**特征函数** + +其作用是为了将某个特征x,进行一些转换后,让它和标签y起到重大的相关作用 + +![1619102621448](assets/1619102621448.png) + +特征函数f(x,y)关于经验分布,![1619102676233](assets/1619102676233.png)的期望值: + +![1619102692422](assets/1619102692422.png) + +特征函数f(x,y)关于模型P(Y|X)与经验分布![1619102890428](assets/1619102890428.png)的期望值: + +![1619102909494](assets/1619102909494.png) + +> 下面的P表示真实世界中全部数据的分布,即训练集不可能用上全部的数据,一般都是某段时间的,比如N年,所以用![1619103339948](assets/1619103339948.png)表示它是真实的全部时间P中的某段的经验分布 + +约束:![1619103420910](assets/1619103420910.png) + +> 希望训练集的和真实的全部数据是一致的分布 + + + +max + +![1619103794313](assets/1619103794313.png) + +![1619103711622](assets/1619103711622.png) + +> fi表示让所有的特征都满足约束条件 + +min + +![1619103835595](assets/1619103835595.png) + +![1619103802671](assets/1619103802671.png) + + + +**拉格朗日乘子法:** + +![1619103884422](assets/1619103884422.png) + +![1619103914972](assets/1619103914972.png) + +> 求最小的值 + +![1619103936518](assets/1619103936518.png) + +![1619103949860](assets/1619103949860.png) + diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1619102072918.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1619102072918.png new file mode 100644 index 0000000..258c59f Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1619102072918.png differ diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1619102101155.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1619102101155.png new file mode 100644 index 0000000..6f6c657 Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1619102101155.png differ diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1619102153364.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1619102153364.png new file mode 100644 index 0000000..44f40d4 Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1619102153364.png differ diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1619102378061.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1619102378061.png new file mode 100644 index 0000000..0beb441 Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1619102378061.png differ diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1619102385980.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1619102385980.png new file mode 100644 index 0000000..aaaf738 Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1619102385980.png differ diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1619102621448.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1619102621448.png new file mode 100644 index 0000000..8ee23d0 Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1619102621448.png differ diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1619102676233.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1619102676233.png new file mode 100644 index 0000000..8c19dc6 Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1619102676233.png differ diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1619102692422.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1619102692422.png new file mode 100644 index 0000000..fcfda91 Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1619102692422.png differ diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1619102890428.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1619102890428.png new file mode 100644 index 0000000..872423a Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1619102890428.png differ diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1619102909494.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1619102909494.png new file mode 100644 index 0000000..8020ef2 Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1619102909494.png differ diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1619103339948.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1619103339948.png new file mode 100644 index 0000000..c57a05c Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1619103339948.png differ diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1619103420910.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1619103420910.png new file mode 100644 index 0000000..b49b801 Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1619103420910.png differ diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1619103711622.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1619103711622.png new file mode 100644 index 0000000..f89bfb1 Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1619103711622.png differ diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1619103794313.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1619103794313.png new file mode 100644 index 0000000..db212e8 Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1619103794313.png differ diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1619103802671.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1619103802671.png new file mode 100644 index 0000000..68a0dca Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1619103802671.png differ diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1619103835595.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1619103835595.png new file mode 100644 index 0000000..5f23590 Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1619103835595.png differ diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1619103884422.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1619103884422.png new file mode 100644 index 0000000..fee2142 Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1619103884422.png differ diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1619103914972.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1619103914972.png new file mode 100644 index 0000000..07a2ada Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1619103914972.png differ diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1619103936518.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1619103936518.png new file mode 100644 index 0000000..3a5143e Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1619103936518.png differ diff --git a/机器学习算法理论及应用/李航——统计学习方法/assets/1619103949860.png b/机器学习算法理论及应用/李航——统计学习方法/assets/1619103949860.png new file mode 100644 index 0000000..db2c928 Binary files /dev/null and b/机器学习算法理论及应用/李航——统计学习方法/assets/1619103949860.png differ