估计理论

有非常多的领域使用参数估计理论。这些领域包括（当然不局限于以下列出的领域）:

• 信号处理
  • X射线断层成像
  • 脑电图
  • 心电图
  • 核磁共振
  • 医学超声波扫描术
  • 雷达、声纳、地震学——物件的定位
  • 噪声方差
  • 参数化（例如周期图和相关图谱）分析
  • 非参数化（例如MUSIC、Root-MUSIC和ESPRIT）谱分析
  • 维纳滤波
  • 粒子滤波器
• 临床试验
• 民意调查
• 质量控制
• 通讯
  • 信道参数
  • DC增益（请看下边的例子）
• 控制理论
  • 卡尔曼滤波
  • 随时间改变的执行器（英文：Actuator）
• 网络入侵侦查系统

测量参数包含噪声或者其他不确定性。通过统计概率，可以求得最优化的解，用来从数据中提取尽可能多的信息。

估计理论的全部目的都是获取一个估计函数，最好是一个可以实现的估计函数。估计函数输入测量数据，输出相应参数的估计。

我们通常希望估计函数能最优，一个最优的估计意味着所有的信息都被提取出来了；如果还有信息没有提取出来，那就意味着它不是最优的。

一般来说，求估计函数需要三步：

• 为了实现一个预测单个或者多个参数的所期望的估计器，首先需要确定系统的模型。这个模型需要将需要建模的过程以及不确定性和和噪声融合到一起，这个模型将描述参数应用领域的物理场景。
• 在确定模型之后，需要确定估计器的限制条件。这些限制条件可以通过如Cramér-Rao不等式这样的方法找到。
• 下一步，需要开发一个估计器或者应用一个已知的对于模型有效的估计器。这个估计器需要根据限制条件进行测试以确定它是否是最优估计器，如果是的话，它就是最好的估计器。
• 最后，在估计器上运行试验或者仿真以测试性能。

当实现一个估计器之后，实际的数据有可能证明推导出估计器的模型是不正确的，这样的话就需要重复上面的过程重新寻找估计器。不能实现的估计器需要抛弃，然后开始一个新的过程。总的来说，估计器根据实际测量的数据预测物理模型的参数。

对于给定模型，估计器需要若干统计 "成分"才能实现。第一，统计样本从长度为 N 的随机向量（英语：Multivariate_random_variable）（Random Variable，RV）中采样获得，观测值构成向量：

${\displaystyle \mathbf {x} ={\begin{bmatrix}x[0]\\x[1]\\\vdots \\x[N-1]\end{bmatrix}}.}$ 

第二，有 M 个参数：

${\displaystyle {\boldsymbol {\theta }}={\begin{bmatrix}\theta _{1}\\\theta _{2}\\\vdots \\\theta _{M}\end{bmatrix}},}$ 

它们的值需要被估计。第三，用于生成连续数据的概率密度函数（Probability density function，PDF）或离散数据的概率质量函数（Probability mass function，PMF）以参数值为条件（这些概率函数潜在存在），即条件概率为：

${\displaystyle p(\mathbf {x} |{\boldsymbol {\theta }}).\,}$ 

参数自身可能也存在概率分布（如贝叶斯统计），此时就需要定义贝叶斯概率：

${\displaystyle \pi ({\boldsymbol {\theta }}).\,}$ 

模型形成后，目标是估计参数，估计的参数通常表示为 ${\displaystyle {\hat {\boldsymbol {\theta }}}}$ ，其中 ${\displaystyle {\hat {\cdot }}}$  表示估计值。

常用的估计器包括最小均方误差（Minimum mean squared error，MMSE）估计器，它利用了估计参数和参数实际值之间的误差：

${\displaystyle \mathbf {e} ={\hat {\boldsymbol {\theta }}}-{\boldsymbol {\theta }}}$ 

作为优化的基础。该误差项平方的期望对MMSE估计器来说是最小的。

以下是一些相关的估计函数以及相关的主题

• 最大似然估计（Maximum likelihood estimation，简称MLE）
• 贝叶斯估计器（英语：Bayes_estimator）（Bayes estimator）
• 矩估计（Method of moments estimators，简称MME）
• Cramér-Rao界（英语：Cramér–Rao_bound）
• 最小二乘法（Least squares）
• 最小均方差（Minimum mean squared error，简称MMSE）
• 最大后验概率（Maximum a posteriori probability，简称MAP）
• 最小方差无偏估计（Minimum variance unbiased estimator，简称MVUE）
• 非线性系统识别（英语：Nonlinear_system_identification）（Nonlinear system identification）
• 最佳线性非偏估计（BLUE）
• 非偏估计，见偏差 (统计学)。
• 粒子滤波器（Particle filter）
• 马尔可夫链蒙特卡洛（Markov chain Monte Carlo，简称MCMC）
• 卡尔曼滤波
• 维纳滤波

考虑由${\displaystyle N}$ 个独立采样点构成的离散信号${\displaystyle x[n]}$ ，它由常数${\displaystyle A}$ 和零均值、方差为${\displaystyle {\sigma }^2}${\displaystyle \sigma ^{2}}  的加性高斯白噪声${\displaystyle w[n]}$ （即${\displaystyle {\mathcal {N}}(0,\sigma ^{2})}$ ）构成。方差已知，未知参数为${\displaystyle A}$ 。

信号的模型为：

使用最大似然估计继续上面的例子，噪声在采样点${\displaystyle w[n]}$ 上的概率密度函数（pdf）为：

${\displaystyle p(w[n])={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}w[n]^{2}\right)}$ 

此时${\displaystyle x[n]}$ 的概率为（${\displaystyle x[n]}$ 服从分布${\displaystyle {\mathcal {N}}(A,\sigma ^{2})}$ ）：

${\displaystyle p(x[n];A)={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}(x[n]-A)^{2}\right)}$ 

由于相互独立，${\displaystyle \mathbf {x} }$ 的概率为：

${\displaystyle p(\mathbf {x} ;A)=\prod _{n=0}^{N-1}p(x[n];A)={\frac {1}{\left(\sigma {\sqrt {2\pi }}\right)^{N}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}\sum _{n=0}^{N-1}(x[n]-A)^{2}\right)}$ 

对上式取自然对数：

${\displaystyle \ln p(\mathbf {x} ;A)=-N\ln \left(\sigma {\sqrt {2\pi }}\right)-{\frac {1}{2\sigma ^{2}}}\sum _{n=0}^{N-1}(x[n]-A)^{2}}$ 

于是最大似然估计器为：

${\displaystyle {\hat {A}}=\arg \max \ln p(\mathbf {x} ;A)}$ 

计算对数-最大似然函数的一阶导数：

${\displaystyle {\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}(x[n]-A)\right]={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]}$ 

令其为0：

${\displaystyle 0={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]=\sum _{n=0}^{N-1}x[n]-NA}$ 

得到最大似然估计器：

${\displaystyle {\hat {A}}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]}$ 

它是一个简单的采样平均。从这个例子中可以发现，被独立同分布的加性高斯白噪声污染的、由未知常数构成的${\displaystyle N}$ 点信号的最大似然估计其就是采样平均。

Cramér-Rao下限

为了找到采样平均估计器的Cramér-Rao下限（CRLB），需要找到Fisher information数

${\displaystyle {\mathcal {I}}(A)=\mathrm {E} \left(\left[{\frac {\partial }{\partial \theta }}\ln p(\mathbf {x} ;A)\right]^{2}\right)=-\mathrm {E} \left[{\frac {\partial ^{2}}{\partial \theta ^{2}}}\ln p(\mathbf {x} ;A)\right]}$ 

从上面得到

${\displaystyle {\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]}$ 

取二阶导数

${\displaystyle {\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}(-N)={\frac {-N}{\sigma ^{2}}}}$ 

发现负的期望值是无关紧要的（trivial），因为它现在是一个确定的常数

${\displaystyle -\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]={\frac {N}{\sigma ^{2}}}}$ 

最后，将Fisher information代入

${\displaystyle \mathrm {var} \left({\hat {A}}\right)\geq {\frac {1}{\mathcal {I}}}}$ 

得到

${\displaystyle \mathrm {var} \left({\hat {A}}\right)\geq {\frac {\sigma ^{2}}{N}}}$ 

将这个值与前面确定的采样平均的变化比较显示对于所有的${\displaystyle N}$ 和${\displaystyle A}$ 来说采样平均都是等于Cramér-Rao下限。

采样平均除了是最大似然估计器之外还是最小变化无偏估计器（MVUE）。

这个直流增益 + WGN的例子是Kay的统计信号处理基础中一个例子的再现。

• Fundamentals of Statistical Signal Processing: Estimation Theory by Steven M. Kay (编辑
  • 偏差
  • 检测理论
  • 信息论
  • 最大似然估计
  • 矩方法
  • 最小均方差（MMSE）
  • 最大后验概率（MAP）
  • 卡尔曼滤波
  • 维纳滤波
  • 最小平方频谱分析法（LSSA）