简单(一元)线性回归模型
对于简单(一元)线性回归模型,
-
其中 和 是非随机但不能观测到的参数, 是非随机且可观测到的一般变量, 是不可观测的随机变量,或称为随机误差或噪音, 是可观测的随机变量。
高斯-马尔可夫定理的假设条件是:
- 在总体模型中,各变量关系为 (线性于参数)
- 我们具有服从于上述模型的随机样本,样本容量为n(随机抽样),
- x的样本结果为非完全相同的数值(解释变量的样本有波动),
- 对于给定的解释变量,误差的期望为零,换言之 (零条件均值),
- 对于给定的解释变量,误差具有相同的方差,换言之 (同方差性)。
则对 和 的最佳线性无偏估计为,
-
多元线性回归模型
对于多元线性回归模型,
- ,
使用矩阵形式,线性回归模型可简化记为 ,其中采用了以下记号:
(观测值向量,Vector of Responses),
(设计矩阵,Design Matrix),
(参数向量,Vector of Parameters),
(随机误差向量,Vectors of Error)。
高斯-马尔可夫定理的假设条件是:
- , (零均值),
- ,(同方差且不相关),其中 为n阶单位矩阵(Identity Matrix)。
则对 的最佳线性无偏估计为
-
首先,注意的是这里数据是 而非 ,我们希望找到 对于 的线性估计量,记作
-
其中 , , 和 分别是 , , 和 矩阵。
根据零均值假设所得,
-
其次,我们同时限制寻找的估计量为无偏的估计量,即要求 ,因此有
- (零矩阵),