估计量

假设存在一个固定的待估参数${\displaystyle \theta }$ 。那么"估计量"是样本空间映射到样本估计值的一个函数。${\displaystyle \theta }$ 的一个估计量记为${\displaystyle {\widehat {\theta }}}$ 。

易用随机变量的代数来阐述这个理论：如果用X来标记对应观测数据的随机变量，估计量（本身视为随机变量）的符号表示为该随机变量的函数，${\displaystyle {\widehat {\theta }}(X)}$ 。对特定观测数据集（即对于X=x）而言，其估计值为一固定值${\displaystyle {\widehat {\theta }}(x)}$ 。通常使用简化标记${\displaystyle {\widehat {\theta }}}$ 表示随机变量，但这容易造成误解。

以下定义和属性是相关的。^[1]

误差

对于一个给定样本${\displaystyle x}$ ，估计量${\displaystyle {\widehat {\theta }}}$ 的“误差”定义为

${\displaystyle e(x)={\widehat {\theta }}(x)-\theta ,}$ 

其中${\displaystyle \theta }$ 是待估参数。注意误差e不仅取决于估计量（估计公式或过程），还取决于样本。

均方误差

估计量${\displaystyle {\hat {\theta }}}$ 的均方误差被定义为误差的平方的期望值，即为：

${\displaystyle MSE({\hat {\theta }})=E[({\hat {\theta }}(x)-\theta )^{2}]}$ 

它用来显示估计值的集合与被估计单个参数的平均差异。试想下面的类比：假设“参数”是靶子的靶心，“估计量”是向靶子射箭的过程，而每一支箭则是“估计值”（样本）。那么，高均方误差就意味着每一支箭离靶心的平均距离较大，低均方误差则意味着每一支箭离靶心的平均距离较小。箭支可能集聚，也可能不。比如说，即使所有箭支都射中了同一个点，同时却严重偏离了靶子，均方误差相对来说依然很大。然而要注意的是，如果均方误差相对较小，箭支则更有可能集聚（而不是离散）。

抽样偏差

方差

偏差

${\displaystyle bias({\hat {\theta }}(x))=E[{\hat {\theta }}(x)]-{\theta }}$ 

一致性

一致估计量序列是一列随着序号（通常是样本容量）无限增大时依概率收敛于被估量的估计量序列。换句话说，增加样本容量增大了估计量接近总体参数的概率。

在数学上，一个估计量序列{t_n; n ≥ 0}是参数θ的一致估计量当且仅当对于所有ϵ > 0，不管多小，我们都有

${\displaystyle \lim _{n\to \infty }\Pr \left\{\left|t_{n}-\theta \right|<\epsilon \right\}=1.}$ 

就如，一个人不断地抛硬币，随着次数的增多，任何一面出现的概率（机率）就会趋于0.5。那么这个0.5就是这个抛硬币事件中任何一面出现概率的一致估计量，或者说一致估计值。

• 点估计
• 估计量的偏差
• 最大似然估计
• 动差法、广义动差法
• 最小均方误差法（MMSE）
• 最小方差无偏估计式（MVUE）
• 最佳线性无偏估计（BLUE）
• 卡尔曼滤波
• 维纳滤波

• 关于统计函数的课程

1. ^ Jaynes (2007), p.172.