吉洪诺夫正则化

吉洪诺夫正则化安德烈·尼古拉耶维奇·吉洪诺夫命名,为非适定性问题正则化中最常见的方法。在统计学中,本方法被称为脊回归岭回归ridge regression);在机器学习领域则称为权重衰减权值衰减weight decay)。因为有不同的数学家独立发现此方法,此方法又称做吉洪诺夫-米勒法Tikhonov–Miller method)、菲利浦斯-图米法Phillips–Twomey method)、受限线性反演constrained linear inversion method),或线性正规化linear regularization)。此方法亦和用在非线性最小二乘法英语Non-linear_least_squares莱文贝格-马夸特方法相关。

当求解超定问题(即)时, 矩阵 的协方差矩阵 奇异或接近奇异时,利用最小二乘方法求出的结果 会出现发散或对 不合理的逼近。为了解决这一问题,吉洪诺夫于1963年提出了利用正则化项修改最小二乘的代价函数的方法,修改后的代价函数如下:

式中 称为正则化参数[1],这种方法被称为吉洪诺夫正则化。

参考资料

  1. ^ Tikhonov A.N. Solution of Incorrectly Formulated Problems and the Regularization Method. Soviet Mathematics Doklady. 1963, 4: 1035–1038.