在统计学中,典型相关分析(Canonical Correlation Analysis)是对互协方差矩阵的一种理解。如果我们有两个随机变量向量 X = (X1, ..., Xn) 和 Y = (Y1, ..., Ym) 并且它们是相关的,那么典型相关分析会找出 Xi 和 Yj 的相互相关最大的线性组合。[1]T·R·Knapp指出“几乎所有常见的参数测试的意义可视为特殊情况的典型相关分析,这是研究两组变量之间关系的一般步骤。”[2] 这个方法在1936年由哈罗德·霍特林首次引入。[3]
给定两个随机向量和,我们可以定义互协方差矩阵 为 的矩阵,其中 是协方差 。实际上,我们可以基于 和 的采样数据来估计协方差矩阵。(如从一对数据矩阵)。
典型相关分析求出向量 和 使得随机变量 和 的相关性 最大。随机变量 和 是 第一对典型变量。然后寻求一个依然最大化相关但与第一对典型变量不相关的向量;这样就得到了 第二对典型变量。 这个步骤会进行 次。
计算
推导
设 和 。需要最大化的参数为
-
第一步是定义一个基变更以及
-
-
因此我们有
-
根据柯西-施瓦茨不等式,我们有
-
-
如果向量 和 共线,那么上式相等。此外,如果 是矩阵 (见Rayleigh quotient) 最大特征值对应的特征向量,那么就可以得到相关的最大值。随后的典型变量对可以通过减少特征值的量级来得到。正交性保证了相关矩阵的对称性。
解法
因此解法是:
- 是 的一个特征向量。
- 是 的比例项。
相反地,也有:
- 是 的一个特征向量。
- 是 的比例项。
把坐标反过来,我们有
- 是 的一个特征向量。
- 是 的一个特征向量。
- 是 的比例项。
- 是 的比例项。
那么相关变量定义为:
-
-
实现
典型相关分析可以用一个相关矩阵的奇异值分解来解决。[4] 以下是它在一些语言中的函数 [5]
假设检验
每一行可以用下面的方法检测其重要性。由于相关是排好序的,也就是说行 为 0 意味着所有后续的相关都为 0。如果我们在一个样本中有 个独立观测,对 , 是其估计相关。对第 行,测试统计为:
-
上面渐近为一个对大 有 个自由度的卡方分布。[6] 由于所有从 到 的相关从逻辑上来说都是 0,所以在这一点之后的乘积都是不相关的。
实际运用
例子
与principal angles的连接
参见
- Generalized Canonical Correlation
- Multilinear subspace learning
- RV coefficient
- Principal angles
- 主成分分析
- Regularized canonical correlation analysis
- 奇异值分解
- Partial least squares regression
参考文献
- ^ Härdle, Wolfgang; Simar, Léopold. Canonical Correlation Analysis. Applied Multivariate Statistical Analysis. 2007: 321–330. ISBN 978-3-540-72243-4. doi:10.1007/978-3-540-72244-1_14.
- ^ Knapp, T. R. Canonical correlation analysis: A general parametric significance-testing system. Psychological Bulletin. 1978, 85 (2): 410–416. doi:10.1037/0033-2909.85.2.410.
- ^ Hotelling, H. Relations Between Two Sets of Variates. Biometrika. 1936, 28 (3–4): 321–377. JSTOR 2333955. doi:10.1093/biomet/28.3-4.321.
- ^ Hsu, D.; Kakade, S. M.; Zhang, T. A spectral algorithm for learning Hidden Markov Models (PDF). Journal of Computer and System Sciences. 2012, 78 (5): 1460 [2015-09-10]. arXiv:0811.4413 . doi:10.1016/j.jcss.2011.12.025. (原始内容存档 (PDF)于2020-10-01).
- ^ Huang, S. Y.; Lee, M. H.; Hsiao, C. K. Nonlinear measures of association with kernel canonical correlation analysis and applications (PDF). Journal of Statistical Planning and Inference. 2009, 139 (7): 2162 [2015-09-10]. doi:10.1016/j.jspi.2008.10.011. (原始内容存档 (PDF)于2017-03-13).
- ^ Kanti V. Mardia, J. T. Kent and J. M. Bibby. Multivariate Analysis. Academic Press. 1979.
外部链接