此条目需要精通或熟悉相关主题的编者参与及协助编辑。 请邀请适合的人士改善本条目。更多的细节与详情请参见讨论页。 |
KL散度(Kullback-Leibler divergence,简称KLD)[1],在讯息系统中称为相对熵(relative entropy),在连续时间序列中称为随机性(randomness),在统计模型推断中称为讯息增益(information gain)。也称讯息散度(information divergence)。
KL散度是两个几率分布P和Q差别的非对称性的度量。 KL散度是用来度量使用基于Q的分布来编码服从P的分布的样本所需的额外的平均比特数。典型情况下,P表示数据的真实分布,Q表示数据的理论分布、估计的模型分布、或P的近似分布。[1]
定义
对于离散随机变量,其几率分布P 和 Q的KL散度可按下式定义为
-
等价于
-
即按几率P求得的P和Q的对数商的平均值。KL散度仅当几率P和Q各自总和均为1,且对于任何i皆满足 及 时,才有定义。式中出现 的情况,其值按0处理。
对于连续随机变量,其几率分布P和Q可按积分方式定义为 [2]
-
其中p和q分别表示分布P和Q的密度。
更一般的,若P和Q为集合X的几率测度,且P关于Q绝对连续,则从P到Q的KL散度定义为
-
其中,假定右侧的表达形式存在,则 为Q关于P的R–N导数。
相应的,若P关于Q绝对连续,则
-
即为P关于Q的相对熵。
特性
相对熵的值为非负数:
-
由吉布斯不等式可知,当且仅当 时 为零。
尽管从直觉上KL散度是个度量或距离函数, 但是它实际上并不是一个真正的度量或距离。因为KL散度不具有对称性:从分布P到Q的距离通常并不等于从Q到P的距离。
-
KL散度和其它量的关系
自信息和KL散度
-
互信息和KL散度
-
信息熵和KL散度
-
条件熵和KL散度
-
交叉熵和KL散度
-
参考文献