定义
假设X 为一n × p 矩阵,其各行(row)来自同一均值向量为
0
{\displaystyle \mathbf {0} }
的
p
{\displaystyle p}
维多变量正态分布 且彼此独立 。
X
(
i
)
=
(
x
i
1
,
…
,
x
i
p
)
T
∼
N
p
(
0
,
V
)
,
{\displaystyle X_{(i)}{=}(x_{i}^{1},\dots ,x_{i}^{p})^{T}\sim N_{p}(0,V),}
则威沙特分布为
p
×
p
{\displaystyle p\times p}
散异矩阵
S
=
X
T
X
=
∑
i
=
1
n
X
(
i
)
X
(
i
)
T
,
{\displaystyle S=X^{T}X=\sum _{i=1}^{n}X_{(i)}X_{(i)}^{T},\,\!}
的几率分布 。
S
{\displaystyle \mathbf {S} }
有该几率分布通常记为
S
∼
W
p
(
V
,
n
)
.
{\displaystyle \mathbf {S} \sim W_{p}(\mathbf {V} ,n).}
其中正整数
n
{\displaystyle n}
为自由度 。有时亦记号为
W
(
V
,
p
,
n
)
{\displaystyle W(\mathbf {V} ,p,n)}
。若
p
=
1
{\displaystyle p=1}
且
V
=
1
{\displaystyle \mathbf {V} =1}
则该分布退化为一自由度为
n
{\displaystyle n}
的单变量卡方分布 。
常见应用
威沙特分布常用于多变量的概似比检定 ,亦用于随机矩阵 的频谱理论中。
几率密度函数
威沙特分布具有下述的几率密度函数 :
令'
W
{\displaystyle \mathbf {W} }
为一
p
×
p
{\displaystyle p\times p}
正定对称随机变数矩阵。令
V
{\displaystyle \mathbf {V} }
为一特定正定
p
×
p
{\displaystyle p\times p}
矩阵。
如此,若
n
>
p
{\displaystyle n>p}
,则
W
{\displaystyle \mathbf {W} }
服从于一具自由度n 的威沙特分布且有几率度函数
f
W
{\displaystyle f_{W}}
f
W
(
w
)
=
|
w
|
(
n
−
p
−
1
)
/
2
exp
[
−
t
r
a
c
e
(
V
−
1
w
/
2
)
]
2
n
p
/
2
|
V
|
n
/
2
Γ
p
(
n
/
2
)
{\displaystyle f_{\mathbf {W} }(w)={\frac {\left|w\right|^{(n-p-1)/2}\exp \left[-{\rm {trace}}({\mathbf {V} }^{-1}w/2)\right]}{2^{np/2}\left|{\mathbf {V} }\right|^{n/2}\Gamma _{p}(n/2)}}}
其中
Γ
p
(
⋅
)
{\displaystyle \Gamma _{p}(\cdot )}
为多变量Gamma分布 ,其定义为
Γ
p
(
n
/
2
)
=
π
p
(
p
−
1
)
/
4
Π
j
=
1
p
Γ
[
(
n
+
1
−
j
)
/
2
]
.
{\displaystyle \Gamma _{p}(n/2)=\pi ^{p(p-1)/4}\Pi _{j=1}^{p}\Gamma \left[(n+1-j)/2\right].}
上述定义可推广至任一实数
n
>
p
−
1
{\displaystyle n>p-1}
[2]
特征函数
威沙特分布的特征函数 为
Θ
↦
|
I
−
2
i
Θ
V
|
−
n
/
2
.
{\displaystyle \Theta \mapsto \left|{\mathbf {I} }-2i\,{\mathbf {\Theta } }{\mathbf {V} }\right|^{-n/2}.}
也就是说
Θ
↦
E
{
e
x
p
[
i
⋅
t
r
a
c
e
(
W
Θ
)
]
}
=
|
I
−
2
i
Θ
V
|
−
n
/
2
{\displaystyle \Theta \mapsto {\mathcal {E}}\left\{\mathrm {exp} \left[i\cdot \mathrm {trace} ({\mathbf {W} }{\mathbf {\Theta } })\right]\right\}=\left|{\mathbf {I} }-2i{\mathbf {\Theta } }{\mathbf {V} }\right|^{-n/2}}
其中
E
(
⋅
)
{\displaystyle {\mathcal {E}}(\cdot )}
为期望值
(这里的
Θ
{\displaystyle \Theta }
及
I
{\displaystyle {\mathbf {I} }}
皆为与
V
{\displaystyle {\mathbf {V} }}
维度相同的矩阵。(
I
{\displaystyle {\mathbf {I} }}
为单位矩阵 ,而
i
{\displaystyle i}
为-1的平方根 ).[3]
理论架构
若
W
{\displaystyle \scriptstyle {\mathbf {W} }}
为一自由度为m ,共变异矩阵为
V
{\displaystyle \scriptstyle {\mathbf {V} }}
的威沙特分布,记为—
W
∼
W
p
(
V
,
m
)
{\displaystyle \scriptstyle {\mathbf {W} }\sim {\mathbf {W} }_{p}({\mathbf {V} },m)}
—其中
C
{\displaystyle \scriptstyle {\mathbf {C} }}
为一
q
×
p
{\displaystyle q\times p}
的q 秩矩阵,则[4]
C
W
C
′
∼
W
q
(
C
V
C
′
,
m
)
.
{\displaystyle {\mathbf {C} }{\mathbf {W} }{\mathbf {C} '}\sim {\mathbf {W} }_{q}\left({\mathbf {C} }{\mathbf {V} }{\mathbf {C} '},m\right).}
推论1
若
z
{\displaystyle {\mathbf {z} }}
为一非负
p
×
1
{\displaystyle p\times 1}
常数向量,则[4]
z
′
W
z
∼
σ
z
2
χ
m
2
{\displaystyle {\mathbf {z} '}{\mathbf {W} }{\mathbf {z} }\sim \sigma _{z}^{2}\chi _{m}^{2}}
.
则在此情形下,
χ
m
2
{\displaystyle \chi _{m}^{2}}
为一卡方分布 且
σ
z
2
=
z
′
V
z
{\displaystyle \sigma _{z}^{2}={\mathbf {z} '}{\mathbf {V} }{\mathbf {z} }}
(因
V
{\displaystyle {\mathbf {V} }}
为正定,所以
σ
z
2
{\displaystyle \sigma _{z}^{2}}
为一正常数)。
推论2
在
z
′
=
(
0
,
…
,
0
,
1
,
0
,
…
,
0
)
{\displaystyle {\mathbf {z} '}=(0,\ldots ,0,1,0,\ldots ,0)}
的情形下(亦即第j个元素为1其他为0),推论1可导出
w
j
j
∼
σ
j
j
χ
m
2
{\displaystyle w_{jj}\sim \sigma _{jj}\chi _{m}^{2}}
为矩阵的每一个对对角元素的边际分布。
统计学家George Seber 曾论证威沙特分布并非多变量卡方分布,这是因为非对角元素的边际分布并非卡方分布,Seber倾向于将某某多变量 分布此一遣词用于所有元素的边际分布皆相同的情形。[5]
多变量正态分布的估计
由于威沙特分布可视为一多变量正态分布其共变异矩阵 的最大概似估计量 (MLE)的的分布,其衍自MLE的计算可为令人惊喜地简约而优雅。[6] 基于频谱理论 ,可将一标量视为一
1
×
1
{\displaystyle 1\times 1}
矩阵的迹(trace)。请参考共变异矩阵的估计 。
分布抽样
以下的算法取材自 Smith & Hocking (1972)。[7] 一个来自自由度为n 及共变异矩阵为
V
{\displaystyle \mathbf {V} }
的威沙特分布的
p
×
p
{\displaystyle p\times p}
(其中
n
≥
p
{\displaystyle n\geq p}
)随机样本可以如下方式抽样而得:
生成一随机
p
×
p
{\displaystyle p\times p}
下三角矩阵
A
{\displaystyle {\textbf {A}}}
使得:
a
i
i
=
(
χ
n
−
i
+
1
2
)
1
/
2
{\displaystyle a_{ii}=(\chi _{n-i+1}^{2})^{1/2}}
,意即
a
i
i
{\displaystyle a_{ii}}
为一
χ
n
−
i
+
1
2
{\displaystyle \chi _{n-i+1}^{2}}
卡方分布随机样本的平方根。
a
i
j
{\displaystyle a_{ij}}
其中
j
<
i
{\displaystyle j<i}
,为一
N
1
(
0
,
1
)
{\displaystyle N_{1}(0,1)}
正态分布 的随机样本。[8]
计算
V
=
L
L
T
{\displaystyle {\textbf {V}}={\textbf {L}}{\textbf {L}}^{T}}
的Cholesky分解 。
计算
X
=
L
A
A
T
L
T
{\displaystyle {\textbf {X}}={\textbf {L}}{\textbf {A}}{\textbf {A}}^{T}{\textbf {L}}^{T}}
。此时,
X
{\displaystyle {\textbf {X}}}
为一
W
p
(
V
,
n
)
{\displaystyle W_{p}({\textbf {V}},n)}
的随机样本。 若
V
=
I
{\displaystyle {\textbf {V}}={\textbf {I}}}
,则因
V
=
I
I
T
{\displaystyle {\textbf {V}}={\textbf {I}}{\textbf {I}}^{T}}
,可以直接以
X
=
A
A
T
{\displaystyle {\textbf {X}}={\textbf {A}}{\textbf {A}}^{T}}
进行抽样。
参考条目
共变异矩阵的估计
Hotelling的T平方分布
逆威沙特分布 参考资料
^ Wishart, J. The generalised product moment distribution in samples from a normal multivariate population. Biometrika . 1928, 20A (1–2): 32–52. JFM 54.0565.02 . JSTOR 2331939 . doi:10.1093/biomet/20A.1-2.32 .
^ Uhlig, H. On Singular Wishart and Singular Multivariate Beta Distributions . The Annals of Statistics. 1994, 22 : 395–405. doi:10.1214/aos/1176325375 .
^ Anderson, T. W. An Introduction to Multivariate Statistical Analysis 3rd. Hoboken, N. J.: Wiley Interscience . 2003: 259 . ISBN 0-471-36091-0 .
^ 4.0 4.1 Rao, C. R. Linear Statistical Inference and its Applications. Wiley. 1965: 535.
^ Seber, George A. F. Multivariate Observations. Wiley . 2004. ISBN 978-0471691211 .
^ Chatfield, C.; Collins, A. J. Introduction to Multivariate Analysis . London: Chapman and Hall. 1980: 103 –108. ISBN 0-412-16030-7 .
^ Smith, W. B.; Hocking, R. R. Algorithm AS 53: Wishart Variate Generator. Journal of the Royal Statistical Society, Series C . 1972, 21 (3): 341–345. JSTOR 2346290 .
^ Anderson, T. W. An Introduction to Multivariate Statistical Analysis 3rd. Hoboken, N. J.: Wiley Interscience . 2003: 257 . ISBN 0-471-36091-0 .
Gelman, Andrew. Bayesian Data Analysis 2nd. Boca Raton, Fla.: Chapman & Hall. 2003: 582 [3 June 2015] . ISBN 158488388X . (原始内容存档 于2021-02-17).
Zanella, A.; Chiani, M.; Win, M.Z. On the marginal distribution of the eigenvalues of wishart matrices. IEEE Transactions on Communications. April 2009, 57 (4): 1050–1060. doi:10.1109/TCOMM.2009.04.070143 .
Bishop, C. M. Pattern Recognition and Machine Learning . Springer. 2006: 693 .
Pearson, Karl ; Jeffery, G. B. ; Elderton, Ethel M. On the Distribution of the First Product Moment-Coefficient, in Samples Drawn from an Indefinitely Large Normal Population . Biometrika (Biometrika Trust). December 1929, 21 : 164–201. JSTOR 2332556 . doi:10.2307/2332556 .
Craig, Cecil C. On the Frequency Function of xy . Ann. Math. Statist. 1936, 7 : 1–15 [2016-05-02 ] . doi:10.1214/aoms/1177732541 . (原始内容存档 于2020-06-07).
Peddada and Richards, Shyamal Das; Richards, Donald St. P. Proof of a Conjecture of M. L. Eaton on the Characteristic Function of the Wishart Distribution, . Annals of Probability . 1991, 19 (2): 868–874. doi:10.1214/aop/1176990455 .
Gindikin, S.G. Invariant generalized functions in homogeneous domains,. Funct. Anal. Appl. 1975, 9 (1): 50–52. doi:10.1007/BF01078179 .
Dwyer, Paul S. Some Applications of Matrix Derivatives in Multivariate Analysis . J. Amer. Statist. Assoc. 1967, 62 (318): 607–625. JSTOR 2283988 .