熵率

在概率的数学理论中，非正式地说，一个随机过程的熵率或信源信息率是在一个随机过程的平均信息的时间密度。对于一个索引可数的随机过程，熵率 Η(X) 是 n 个 X_k 过程作为成员的联合熵，在 n 趋向无穷时的极限：

${\displaystyle \mathrm {H} (X)=\lim _{n\to \infty }{\frac {1}{n}}\mathrm {H} (X_{1},X_{2},\dots X_{n})}$

前提是该极限存在。另一种相关量为：

${\displaystyle \mathrm {H} '(X)=\lim _{n\to \infty }\mathrm {H} (X_{n}|X_{n-1},X_{n-2},\dots X_{1})}$

对于强平稳随机过程， ${\displaystyle \mathrm {H} (X)=\mathrm {H} '(X)}$熵率可以被认为是随机信源的一般特性；这是渐近均分割性。