吉布斯不等式

吉布斯不等式说明:

约西亚·吉布斯

,且,则有:

,等号成立当且仅当

信息论概率论,它能应用在法诺不等式讯号源编码定理的证明。

约西亚·吉布斯在19世纪提出它。

证明

吉布斯不等式等价于:

 (见相对熵

证明最右的项小于或等于0的方法有几种:

  • 已知  ,等号成立当且仅当  
 


 

引理

对于n个变量的概率分布P,其的最大值是: