法诺不等式

法诺不等式（Fano's inequality）也称为法诺引理（Fano lemma）是信息论中的一个定理，说明噪音信道中的平均信息损失和错误分类概率之间的关系。法诺不等式是罗伯特·法诺是1950年代于麻省理工学院教授博士讨论班的时候推导的，后来放在1961年编写的教科书中。

法诺不等式在信息论中，提供了解码器错误概率的下界。在统计学中，提供了密度估计（英语：Density_estimation）时极小化极大风险（英语：minimax risks）的下界。

用符号 ${\displaystyle H(\cdot )}$表示熵， ${\displaystyle H(X|Y)}$ 表示随机变量X与Y之间的条件熵，${\displaystyle {\tilde {X}}}$表示对于X的分类，e表示分类错误的事件（${\displaystyle e=\{X\neq {\tilde {X}}\}}$），法诺不等式是说

${\displaystyle H(X|Y)\leq H(e)+P(e)\log(|{\text{supp}}(X)|-1)}$

这里 ${\displaystyle {\text{supp}}(X)}$ 是X可能取值（有限个）的集合。