集中不等式

集中不等式数学中的一类不等式,描述了一个随机变量是否集中在某个取值附近。例如大数定律说明了一系列独立分布随机变量的平均值概率上趋近于它们的数学期望,这表示随着变量数目增大,平均值会集中在数学期望附近[1]

马尔可夫不等式

马尔可夫不等式给出了一个实值随机变量取值大于等于某个特定数值的概率的上限。设X是一个随机变量,a>0为正实数,那么以下不等式成立[1]

 

这个不等式可以推广。对所有的单调严格递增的非零函数 ,都有类似的不等式[1]

 

切比雪夫不等式

马尔可夫不等式给出了随机变量处于区间 之概率的上限估计。切比雪夫不等式则给出了随机变量集中在距离其数学期望值距离不超过a的区间上之概率的上限估计。设X是一个随机变量,a>0为正实数,那么只要对随机变量 应用马尔可夫不等式就可以得到:

 

其中的 表示变量X的方差,也就是:

 

霍夫丁不等式

霍夫丁不等式适用于有界的随机变量。设有两两独立的一系列随机变量 。假设对所有的  都是几乎有界的变量,即满足:

 

那么这n个随机变量的经验期望:

 

满足以下的不等式[1][2]

 
 

Efron–Stein不等式

Efron–Stein不等式给出了随机变量方差的一个上限估计。设有两两独立的随机变量  ,并且对所有的   有着相同的分布。那么令 ,则有

 [1]

参考来源

  1. ^ 1.0 1.1 1.2 1.3 1.4 Stéphane Boucheron, Gabor Lugosi, Olivier Bousquet. Concentration Inequalities (PDF). Université de Paris-Sud, Laboratoire d'Informatique. [2012年9月7日]. (原始内容存档 (PDF)于2020年9月28日). (英文)
  2. ^ Wassily Hoeffding, Probability inequalities for sums of bounded random variables, Journal of the American Statistical Association 58 (301): 13–30, March 1963. (JSTOR)(英文)