混合模型

对一维的随机变数${\displaystyle X}$ 的高斯分布存在以下几率密度函数：

${\displaystyle F_{X}(x)=P_{X}(X\leq x)={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp {(-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}})}}$ 

其中的${\displaystyle \sigma }$ 为${\displaystyle X}$ 的标准差，${\displaystyle \mu }$ 为${\displaystyle X}$ 的期望值。

而当将高斯分布推广到${\displaystyle k}$ 维时，根据定义，若${\displaystyle k}$ 维的随机向量${\displaystyle X=[X_{1},...X_{k}]^{T}}$ 服从多变数的正态分布，则存在一个对称半正定的共变异数矩阵${\displaystyle \Sigma }$ 以及期望值向量${\displaystyle \mu =[\mu _{1},...,\mu _{k}]^{T}}$ 满足${\displaystyle X}$ 的特征函数。若${\displaystyle \Sigma }$ 为非奇异的，则此分布可以由以下的几率密度函数描述：

${\displaystyle {\displaystyle f_{\mathbf {x} }(x_{1},\ldots ,x_{k})={\frac {1}{\sqrt {(2\pi )^{k}|{\boldsymbol {\Sigma }}|}}}\mathrm {e} ^{-{\frac {1}{2}}({\mathbf {x} }-{\boldsymbol {\mu }})^{\mathrm {T} }{\boldsymbol {\Sigma }}^{-1}({\mathbf {x} }-{\boldsymbol {\mu }})},}}$ ${\displaystyle |\Sigma |}$ 为共变异数矩阵的行列式。

而高斯混合模型为单一高斯概率密度函数的延伸，用多个高斯概率密度函数（正态分布曲线）精确地量化变量分布，是将变量分布分解为若干基于高斯概率密度函数（正态分布曲线）分布的统计子模型，每个子模型可视为此混合模型的隐变量。

举一个不是那么严谨的例子，若是我们手上有一个班级中所有学生某一次考试的各项科目分数分布，并且每一科的分数都大致依照高斯分布。则当我们要描述每个学生的总分分布时，单高斯模型及多维的高斯模型不一定能很好的描述这个分布，因为每一科的分布的情形都不尽相同，此时我们可以用高斯混合分布更好的来描述这个问题。