似然函数

考虑投掷硬币的实验。通常来说，已知掷出一枚“公平的硬币”（即正面朝上和反面朝上的概率相同）时，正面（Head）朝上的概率为${\displaystyle p_{H}=0.5}$ ，我们可以此推论得知投掷若干次后出现各种结果的可能性。比如说，连续投两次都是正面朝上的概率是${\displaystyle 0.25}$ 。用条件概率表示，就是：

${\displaystyle P({\mbox{HH}}\mid p_{H}=0.5)=0.5^{2}=0.25}$ 

其中${\displaystyle {\mbox{H}}}$ 表示正面朝上。

在统计学中，我们更关心的是在已知一系列投掷的结果时，关于单独投掷一次硬币时正面朝上的概率（即${\displaystyle p_{H}}$ ）为何。我们实际上是无法从一系列投掷的结果来逆推真实的${\displaystyle p_{H}}$ ，但是我们可以推估${\displaystyle p_{H}}$ 是某个值的可能性为何。举例来说，假设因为这可能不是一枚真正“公平的硬币”，所以我们不知道${\displaystyle p_{H}}$ 是多少，也无法计算投掷三次硬币其中两次是正面的概率是多少。现在如果我们真的实际去掷了三次硬币，结果其中两次为正面，那我们是否能够依此次实验逆推出${\displaystyle p_{H}}$ 的资讯？如果无法逆推出真实的${\displaystyle p_{H}}$ ，那我们有没有办法知道，譬如说${\displaystyle p_{H}=0.5}$ 的可能性为何？${\displaystyle p_{H}=0.6}$ 的可能性又为何？或甚至再更退一步，至少我们能不能知道${\displaystyle p_{H}=0.5}$ 跟${\displaystyle p_{H}=0.6}$ 哪一个比较有可能？

投掷一次硬币，正面朝上的概率用${\displaystyle p_{H}}$ 来代表，它就是我们这个例子的参数，而我们用事件${\displaystyle {\mbox{A}}}$ 来代表投掷三次硬币其中两次是正面这个事实。使用联合概率（英语：joint probability）计算可知

${\displaystyle P({\mbox{A}}\mid p_{H})=3\times p_{H}^{2}\times (1-p_{H})}$ 

我们首先假设${\displaystyle p_{H}=0.5}$ ，则看到三次投掷中两次是正面的概率为${\displaystyle P({\mbox{A}}\mid p_{H}=0.5)=0.375}$ 。再来如果假设${\displaystyle p_{H}=0.6}$ ，则看到三次投掷中两次是正面的概率为${\displaystyle P({\mbox{A}}\mid p_{H}=0.6)=0.432}$ 。显然地，如果${\displaystyle p_{H}=0.6}$ 的话，我们看到两个正面的机会比较高。所以当我们投掷了三次硬币并且看到了两次正面，即使我们无法知道实际${\displaystyle p_{H}}$ 到底是多少，我们至少知道${\displaystyle p_{H}}$ 是${\displaystyle 0.6}$ 的可能性比是${\displaystyle 0.5}$ 的可能性还要高。我们可以合理猜测，${\displaystyle p_{H}}$ 比较可能是${\displaystyle 0.6}$ 而非${\displaystyle 0.5}$ 。

这里我们就引进了似然性的概念：似然性代表某个参数为特定值的可能性。从上面例子得知在已观察到事件${\displaystyle {\mbox{A}}}$ 的情况下，关于事件A的似然估计为

${\displaystyle L(p_{H}\mid {\mbox{A}})=P({\mbox{A}}\mid p_{H})}$ 

其中${\displaystyle p_{H}}$ 为我们所要确定的参数。所以当我们投掷硬币三次，其中两次是正面，则${\displaystyle p_{H}=0.5}$ 的似然性是${\displaystyle L(p_{H}=0.5\mid {\mbox{A}})=P({\mbox{A}}\mid p_{H}=0.5)=0.375}$ ，而${\displaystyle p_{H}=0.6}$ 的似然性是${\displaystyle L(p_{H}=0.6\mid {\mbox{A}})=P({\mbox{A}}\mid p_{H}=0.6)=0.432}$ 。注意，${\displaystyle L(p_{H}=0.5\mid {\mbox{A}})=0.375}$ 并不是说当已知${\displaystyle {\mbox{A}}}$ 发生了，则${\displaystyle p_{H}}$ 为${\displaystyle 0.5}$ 的概率是${\displaystyle 0.375}$ 。似然性跟概率具有不同的意义。

若单独看${\displaystyle 0.375}$ 这个数字或${\displaystyle 0.432}$ 这个数字是没有意义的，因为似然性并不是概率，并不是一定介于${\displaystyle 0}$ 到${\displaystyle 1}$ 之间，而所有可能的${\displaystyle p_{H}}$ 的似然性加起来也不是${\displaystyle 1}$ ，所以单独得知${\displaystyle L(p_{H}=0.5\mid {\mbox{A}})=0.375}$ 是没有意义的。似然性是用在把各种可能的${\displaystyle p_{H}}$ 值放在一起比较，来得知哪个${\displaystyle p_{H}}$ 值的可能性比较高。而似然函数（在这个例子中，即${\displaystyle L(p_{H}\mid {\mbox{A}})=3\times p_{H}^{2}\times (1-p_{H})}$ ），除了用来计算似然性外，则是用来了解当参数${\displaystyle p_{H}}$ 改变时，似然性怎么变化，用来寻找最大可能性的${\displaystyle p_{H}}$ 值会是多少。

图1所示为连续掷两次硬币都为正面的情况下（即此节开头的事件${\displaystyle {\mbox{HH}}}$ ），${\displaystyle p_{H}}$ 从${\displaystyle 0}$ 到${\displaystyle 1}$ 的似然性。我们可以看出最大似然性发生在${\displaystyle p_{H}=1}$ ，所以当我们投掷硬币两次，两次都正面时，我们可以猜说${\displaystyle p_{H}}$ 最有可能是${\displaystyle 1}$ （即使实际上${\displaystyle p_{H}}$ 也许是${\displaystyle 0.5}$ ，但我们无法知道这件事)。图2则为投掷硬币三次，其中两次为正面、一次为反面的情况下，${\displaystyle p_{H}}$ 从${\displaystyle 0}$ 到${\displaystyle 1}$ 的似然性。最大似然性发生在${\displaystyle p_{H}={\frac {2}{3}}}$ 。所以当我们掷了三次硬币得到两次正面，最合理的猜测应该是${\displaystyle p_{H}={\frac {2}{3}}}$ （同理，也许实际上${\displaystyle p_{H}=0.5}$ ，但我们无从得知，所以只能做“最合理”猜测）。

我们可以得到一个结论：

      对同一个似然函数，其所代表的模型中，某项参数值具有多种可能，但如果存在一个参数值，使得概似函数值达到最大的话，那么这个值就是该项参数最为“合理”的参数值。

最大似然估计

最大似然估计是似然函数最初也是最自然的应用。上文已经提到，似然函数取得最大值表示相应的参数能够使得统计模型最为合理。从这样一个想法出发，最大似然估计的做法是：首先选取似然函数（一般是概率密度函数或概率质量函数），整理之后求最大值点。实际应用中一般会取似然函数的对数作为求最大值的函数，这样求出的最大值点和直接求最大值点得到的结果是相同的。似然函数的最大值点不一定唯一，也不一定存在。与矩法估计比较，最大似然估计的精确度较高，信息损失较少，但计算量较大。

似然比检验

似然比检验是利用似然函数来检测某个假设（或限制）是否有效的一种检验。一般情况下，要检测某个附加的参数限制是否是正确的，可以将加入附加限制条件的较复杂模型的似然函数最大值与之前的较简单模型的似然函数最大值进行比较。如果参数限制是正确的，那么加入这样一个参数应当不会造成似然函数最大值的大幅变动。一般使用两者的比例来进行比较，这个比值是卡方分配。

尼曼-皮尔森引理说明，似然比检验是所有具有同等显著性差异的检验中最有统计效力的检验。

• Stephen Stigler. Francis Ysidro Edgeworth（英语：Francis Ysidro Edgeworth）, Statistician. Journal of the Royal Statistical Society. Series A (General). 1978, 141 (3): 287–322. JSTOR 2344804. （页面存档备份，存于互联网档案馆）
• Stephen Stigler. The History of Statistics: The Measurement of Uncertainty before 1900. Harvard University Press. ISBN 0-674-40340-1. 
• Stephen Stigler. Statistics on the Table: The History of Statistical Concepts and Methods. Harvard University Press. 1999. ISBN 0-674-83601-4. 
• Anders Hald. On the History of Maximum Likelihood in Relation to Inverse Probability and Least Squares. Statistical Science. 1999-05, 14 (2): 214–222 [2023-01-18]. JSTOR 2676741. （原始内容存档于2016-03-05）. 
• Hald, A. A History of Mathematical Statistics from 1750 to 1930. New York: Wiley. 1998.