信息瓶颈

信息瓶颈（英语：information bottleneck）是信息论中的一种方法，由纳夫塔利·泰斯比（英语：Naftali Tishby）、费尔南多·佩雷拉（Fernando C. Pereira）与威廉·比亚莱克（英语：William Bialek）于1999年提出。^[1]对于一随机变量${\displaystyle X}$，假设已知其与观察变量${\displaystyle Y}$之间的联合概率分布${\displaystyle p(X,Y)}$。此时，当需要概括（聚类）${\displaystyle X}$时，可以通过信息瓶颈方法来分析如何最优化地平衡准确度与复杂度（数据压缩）。该方法的应用还包括分布聚类（distributional clustering）与降维等。此外，信息瓶颈也被用于分析深度学习的过程。^[2]

信息瓶项方法中运用了互信息的概念。假设压缩后的随机变量为${\displaystyle T}$，我们试图用${\displaystyle T}$代替${\displaystyle X}$来预测${\displaystyle Y}$。此时，可使用以下算法得到最优的${\displaystyle T}$：

${\displaystyle \min _{p(t|x)}\,\,I(X;T)-\beta I(T;Y),}$

其中${\displaystyle I(X;T)}$与${\displaystyle I(T;Y)}$分别为${\displaystyle X}$与${\displaystyle T}$之间、以及${\displaystyle T}$与${\displaystyle Y}$之间的互信息，可由${\displaystyle p(X,Y)}$计算得到。${\displaystyle \beta }$则表示拉格朗日乘数。