|
|
|
|
@ -31,9 +31,9 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
### 误差项定义
|
|
|
|
|
### 误差
|
|
|
|
|
|
|
|
|
|
#### 数据公式
|
|
|
|
|
#### 误差项公式
|
|
|
|
|
|
|
|
|
|
接着上面的问题，什么样的平面才是最合理最满足的呢
|
|
|
|
|
|
|
|
|
|
@ -43,8 +43,6 @@
|
|
|
|
|
- 上面的方程可能无法形成矩阵相乘的形式，因为θ0没有X0，我们可以添加一个不影响整体的X0，以达到矩阵相乘的效果
|
|
|
|
|
- 整合：
|
|
|
|
|
|
|
|
|
|
#### 误差
|
|
|
|
|
|
|
|
|
|
- 真实值和预测值之间肯定要存在差异的（用ε来表示该误差）
|
|
|
|
|
|
|
|
|
|
- 对于每个样本：
|
|
|
|
|
@ -52,3 +50,38 @@
|
|
|
|
|
> y表示真实值，（第二项）表示预测值，ε表示误差值，即预测值和真实值之间有一个误差项，其中 i 表示每个样本之间都有自己的真实值、预测值、误差项
|
|
|
|
|
|
|
|
|
|
误差项越小，代表预测的越准确。
|
|
|
|
|
|
|
|
|
|
#### 独立同分布的意义
|
|
|
|
|
|
|
|
|
|
- 误差 ε(i) 是独立且具有相同的分布，并服从均值为0方差为θ平方的高斯分布
|
|
|
|
|
|
|
|
|
|
> 我们拆开上面的话
|
|
|
|
|
|
|
|
|
|
- 独立：小明和小红一起来贷款，他们没关系
|
|
|
|
|
- 同分布：他们都是去同一个银行
|
|
|
|
|
- 高斯分布：银行可能会多给，也可能会少给，但绝大多数情况下这个浮动不会太大，极小情况下浮动会比较大，符合正常情况
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
现实中也很难有绝对的高斯分布，大多数是近似高斯分布，也就是我们算法推导的时候也很难得到一个完全正确的答案，只有最接近的答案，也就是存在误差。
|
|
|
|
|
|
|
|
|
|
#### 似然函数的作用
|
|
|
|
|
|
|
|
|
|
- 预测值与误差：
|
|
|
|
|
- 由于误差服从高斯分布：
|
|
|
|
|
- 将（1）式带入（2）式：
|
|
|
|
|
|
|
|
|
|
- 似然函数：
|
|
|
|
|
|
|
|
|
|
解释：什么样的参数跟我们的数据组合后恰好是真实值
|
|
|
|
|
|
|
|
|
|
- 对数似然：
|
|
|
|
|
|
|
|
|
|
解释：乘法难解：加法就容易了，对数里乘法可以转换成加法
|
|
|
|
|
|
|
|
|
|
- 展开化简：
|
|
|
|
|
|
|
|
|
|
- 目标：让似然函数（对数变换后也一样）越大越好
|
|
|
|
|
|
|
|
|
|
（最小二乘法）
|
|
|
|
|
|
|
|
|
|
|
benjas
4 years ago
