吉洪诺夫正则化
此条目可参照英语维基百科相应条目来扩充。 (2019年3月31日) |
吉洪诺夫正则化以安德烈·尼古拉耶维奇·吉洪诺夫命名,为非适定性问题的正则化中最常见的方法。在统计学中,本方法被称为脊回归或岭回归(ridge regression);在机器学习领域则称为权重衰减或权值衰减(weight decay)。因为有不同的数学家独立发现此方法,此方法又称做吉洪诺夫-米勒法(Tikhonov–Miller method)、菲利浦斯-图米法(Phillips–Twomey method)、受限线性反演(constrained linear inversion method),或线性正规化(linear regularization)。此方法亦和用在非线性最小二乘法的莱文贝格-马夸特方法相关。
当求解超定问题(即)时, 矩阵 的协方差矩阵 奇异或接近奇异时,利用最小二乘方法求出的结果 会出现发散或对 不合理的逼近。为了解决这一问题,吉洪诺夫于1963年提出了利用正则化项修改最小二乘的代价函数的方法,修改后的代价函数如下:
式中 称为正则化参数[1],这种方法被称为吉洪诺夫正则化。
参考资料
- ^ Tikhonov A.N. Solution of Incorrectly Formulated Problems and the Regularization Method. Soviet Mathematics Doklady. 1963, 4: 1035–1038.