最大期望算法

最大期望值算法由亚瑟·P·丹普斯特（英语：Arthur P. Dempster），南·莱尔德（英语：Nan Laird）和唐纳德·鲁宾（英语：Donald Rubin）在他们1977年发表的经典论文中提出。他们指出此方法之前其实已经被很多作者“在他们特定的研究领域中多次提出过”。

EM算法用于在方程不能直接求解的情况下寻找统计模型的(局部)最大似然参数。这些模型中较为典型的是含有潜变量，未知参数并且已知观测数据的模型。也就是说，要么数据中存在缺失的值，要么模型可以通过假设存在更多未观测到的数据点来更简单地表示。以混合模型（Mixture Model）为例，通过假设每个观察到的数据点都有一个对应的未观察到的数据点，也可以说是潜在变量，来指定每个数据点所属的混合部分，这样就可以更简单地描述混合模型。

EM是一个在已知部分相关变量的情况下，估计未知变量的迭代技术。EM的算法流程如下：

1. 初始化分布参数
2. 重复直到收敛：
   1. E步骤：根据参数的假设值，给出未知变量的期望估计，应用于缺失值。
   2. M步骤：根据未知变量的估计值，给出当前的参数的极大似然估计。

我们用${\displaystyle {\textbf {y}}}$ 表示能够观察到的不完整的变量值，用${\displaystyle {\textbf {x}}}$ 表示无法观察到的变量值，这样${\displaystyle {\textbf {x}}}$ 和${\displaystyle {\textbf {y}}}$ 一起组成了完整的数据。${\displaystyle {\textbf {x}}}$ 可能是实际测量丢失的数据，也可能是能够简化问题的隐藏变量，如果它的值能够知道的话。例如，在混合模型中，如果“产生”样本的混合元素成分已知的话最大似然公式将变得更加便利（参见下面的例子）。

估计无法观测的数据

让${\displaystyle p\,}$ 代表矢量${\displaystyle \theta }$ : ${\displaystyle p(\mathbf {y} ,\mathbf {x} |\theta )}$ 定义的参数的全部数据的几率密度函数（连续情况下）或者几率质量函数（离散情况下），那么从这个函数就可以得到全部数据的最大似然值，另外，在给定的观察到的数据条件下未知数据的条件分布可以表示为：

${\displaystyle p(\mathbf {x} |\mathbf {y} ,\theta )={\frac {p(\mathbf {y} ,\mathbf {x} |\theta )}{p(\mathbf {y} |\theta )}}={\frac {p(\mathbf {y} |\mathbf {x} ,\theta )p(\mathbf {x} |\theta )}{\int p(\mathbf {y} |\mathbf {x} ,\theta )p(\mathbf {x} |\theta )d\mathbf {x} }}}$ 

• 估计理论
• 数据聚类