高斯-马尔可夫定理

高斯-马尔可夫定理(英语:Gauss-Markov Theorem),在统计学中陈述的是在线性回归模型中,如果线性模型满足高斯马尔可夫假定,则回归系数的最佳线性无偏估计BLUE, Best Linear unbiased estimator)就是普通最小二乘法估计

  • 这里最佳的意思是指相较于其他估计量有更小方差估计量,同时把对估计量的寻找限制在所有可能的线性无偏估计量中。
  • 值得注意的是这里不需要假定误差满足同分布或正态分布
  • 线性模型指对于参数是线性的,因此线性模型并非看起来那么有约束性,通过适当的对y与x做变换(如logy与x),可以得到y与x的非线性关系,但并未跳出线性模型的范畴。

表述

简单(一元)线性回归模型

对于简单(一元)线性回归模型,

 

其中  非随机但不能观测到的参数, 非随机且可观测到的一般变量, 不可观测的随机变量,或称为随机误差或噪音, 可观测的随机变量。

高斯-马尔可夫定理的假设条件是:

  • 在总体模型中,各变量关系为 (线性于参数)
  • 我们具有服从于上述模型的随机样本,样本容量为n(随机抽样),
  • x的样本结果为非完全相同的数值(解释变量的样本有波动),
  • 对于给定的解释变量,误差的期望为零,换言之  (零条件均值),
  • 对于给定的解释变量,误差具有相同的方差,换言之  (同方差性)。

则对  的最佳线性无偏估计为,

 

多元线性回归模型

对于多元线性回归模型,

 ,  

使用矩阵形式,线性回归模型可简化记为 ,其中采用了以下记号:

  (观测值向量,Vector of Responses),

  (设计矩阵,Design Matrix),

  (参数向量,Vector of Parameters),

  (随机误差向量,Vectors of Error)。

高斯-马尔可夫定理的假设条件是:

  •   (零均值),
  •  ,(同方差且不相关),其中 为n阶单位矩阵(Identity Matrix)。

则对 的最佳线性无偏估计为

 

证明

首先,注意的是这里数据是 而非 ,我们希望找到 对于 的线性估计量,记作

 

其中    分别是    矩阵。

根据零均值假设所得,

 

其次,我们同时限制寻找的估计量为无偏的估计量,即要求 ,因此有

 零矩阵), 

参见

  • 方差分析
  • 安斯库姆四重奏
  • 横截面回归
  • 曲线拟合
  • 经验贝叶斯方法
  • 逻辑回归
  • M估计
  • 非线性回归
  • 非参数回归
  • 多元自适应回归样条
  • Lack-of-fit sum of squares
  • 截断回归模型
  • 删失回归模型
  • 简单线性回归
  • 分段线性回归

外部链接