典型相关

统计学中,典型相关分析(Canonical Correlation Analysis)是对互协方差矩阵的一种理解。如果我们有两个随机变量向量 X = (X1, ..., Xn) 和 Y = (Y1, ..., Ym) 并且它们是相关的,那么典型相关分析会找出 XiYj 的相互相关最大的线性组合。[1]T·R·Knapp指出“几乎所有常见的参数测试的意义可视为特殊情况的典型相关分析,这是研究两组变量之间关系的一般步骤。”[2] 这个方法在1936年由哈罗德·霍特林首次引入。[3]

给定两个随机向量,我们可以定义互协方差矩阵 矩阵,其中 协方差 。实际上,我们可以基于 的采样数据来估计协方差矩阵。(如从一对数据矩阵)。

典型相关分析求出向量 使得随机变量 相关 最大。随机变量 第一对典型变量。然后寻求一个依然最大化相关但与第一对典型变量不相关的向量;这样就得到了 第二对典型变量。 这个步骤会进行 次。

计算

推导

  。需要最大化的参数为

 

第一步是定义一个基变更以及

 
 

因此我们有

 

根据柯西-施瓦茨不等式,我们有

 
 

如果向量    共线,那么上式相等。此外,如果   是矩阵   (见Rayleigh quotient) 最大特征值对应的特征向量,那么就可以得到相关的最大值。随后的典型变量对可以通过减少特征值的量级来得到。正交性保证了相关矩阵的对称性。

解法

因此解法是:

  •    的一个特征向量。
  •    的比例项。

相反地,也有:

  •    的一个特征向量。
  •    的比例项。

把坐标反过来,我们有

  •    的一个特征向量。
  •    的一个特征向量。
  •    的比例项。
  •    的比例项。

那么相关变量定义为:

 
 

实现

典型相关分析可以用一个相关矩阵的奇异值分解来解决。[4] 以下是它在一些语言中的函数 [5]

假设检验

每一行可以用下面的方法检测其重要性。由于相关是排好序的,也就是说行   为 0 意味着所有后续的相关都为 0。如果我们在一个样本中有   个独立观测,对    是其估计相关。对第   行,测试统计为:

 

上面渐近为一个对大   自由度卡方分布[6] 由于所有从    的相关从逻辑上来说都是 0,所以在这一点之后的乘积都是不相关的。

实际运用

例子

与principal angles的连接

参见

  • Generalized Canonical Correlation
  • Multilinear subspace learning
  • RV coefficient
  • Principal angles
  • 主成分分析
  • Regularized canonical correlation analysis
  • 奇异值分解
  • Partial least squares regression

参考文献

  1. ^ Härdle, Wolfgang; Simar, Léopold. Canonical Correlation Analysis. Applied Multivariate Statistical Analysis. 2007: 321–330. ISBN 978-3-540-72243-4. doi:10.1007/978-3-540-72244-1_14. 
  2. ^ Knapp, T. R. Canonical correlation analysis: A general parametric significance-testing system. Psychological Bulletin. 1978, 85 (2): 410–416. doi:10.1037/0033-2909.85.2.410. 
  3. ^ Hotelling, H. Relations Between Two Sets of Variates. Biometrika. 1936, 28 (3–4): 321–377. JSTOR 2333955. doi:10.1093/biomet/28.3-4.321. 
  4. ^ Hsu, D.; Kakade, S. M.; Zhang, T. A spectral algorithm for learning Hidden Markov Models (PDF). Journal of Computer and System Sciences. 2012, 78 (5): 1460 [2015-09-10]. arXiv:0811.4413 . doi:10.1016/j.jcss.2011.12.025. (原始内容存档 (PDF)于2020-10-01). 
  5. ^ Huang, S. Y.; Lee, M. H.; Hsiao, C. K. Nonlinear measures of association with kernel canonical correlation analysis and applications (PDF). Journal of Statistical Planning and Inference. 2009, 139 (7): 2162 [2015-09-10]. doi:10.1016/j.jspi.2008.10.011. (原始内容存档 (PDF)于2017-03-13). 
  6. ^ Kanti V. Mardia, J. T. Kent and J. M. Bibby. Multivariate Analysis. Academic Press. 1979. 

外部链接