Loi de Wishart

En théorie des probabilités et en statistique, la loi de Wishart est la généralisation multidimensionnelle de la loi du χ², ou, dans le cas où le nombre de degré de libertés n'est pas entier, de la loi gamma. La loi est dénommée en l'honneur de John Wishart qui la formula pour la première fois en 1928[1].

Loi de Wishart



Paramètres	$n>p-1\!$ Degré de liberté $\mathbf {V} >0\,$ paramètre d'échelle ( $p\times p$ matrice définie positive)
Support	l'ensemble des matrices définies positives
Densité de probabilité	${\frac {1}{2^{\frac {np}{2}}\left\|{\mathbf {V} }\right\|^{\frac {n}{2}}\Gamma _{p}({\frac {n}{2}})}}{\left\|\mathbf {X} \right\|}^{\frac {n-p-1}{2}}e^{-{\frac {1}{2}}{\rm {tr}}({\mathbf {V} }^{-1}\mathbf {X} )}$ où $\Gamma _{p}$ est la fonction gamma multidimensionnelle et $\mathrm {tr}$ est la fonction trace
Espérance	$n\mathbf {V}$
Mode	$(n-p-1)\mathbf {V} {\text{ for }}n\geq p+1$
Variance	$\operatorname {Var} (\mathbf {X} _{ij})=n(v_{ij}^{2}+v_{ii}v_{jj})$
Entropie	voir l'article
Fonction caractéristique	$\Theta \mapsto \left\|{\mathbf {I} }-2i\,{\mathbf {\Theta } }{\mathbf {V} }\right\|^{-n/2}$

C'est une famille de lois de probabilité sur les matrices définies positives, symétriques. Une variable aléatoire de loi de Wishart est donc une matrice aléatoire. Trois lois sont d'une grande importance dans l'estimation des matrices de variance-covariance.

Si une variable aléatoire X suit une loi de Wishart, on notera $X\sim W_{p}(V,n)$ ou $W(V,p,n)$

Définition

Supposons que Y est une matrice $n \times p$ , les lignes sont des vecteurs aléatoires indépendants et suivent une loi normale p-dimensionnelle centrée :

Y_{(i)}{=}(y_{i}^{1},\dots ,y_{i}^{p})\sim {\mathcal {N}}_{p}(0,V).

Alors la loi de Wishart est la loi de probabilité de la matrice $p \times p$

X=Y^{T}Y\,\!

connue sous le nom matrice de dispersion. L'entier naturel n est le nombre de degrés de liberté. Pour $n > p$ , la matrice X est inversible avec probabilité 1 si V est inversible. Si p=1 et V=1, alors la loi de Wishart est la loi du χ² à n degrés de liberté.

Utilisation

La loi de Wishart apparait comme la loi d'une matrice de covariance d'un échantillon de valeurs suivant une loi normale multidimensionnelle^{[citation nécessaire]}. Elle apparait fréquemment dans les tests de maximum de vraisemblance en analyse statistique multivariée. Elle apparait également en théorie spectrale des matrices aléatoires^{[citation nécessaire]} et en analyse bayésienne multidimensionnelle^{[citation nécessaire]}.

Densité de probabilité

La loi de Wishart peut être caractérisée par sa densité de probabilité de la manière suivante. On fixe V une matrice $p \times p$ symétrique définie positive (paramètre d'échelle). Si $n \geq p$ , alors la densité de probabilité de la loi de Wishart est donnée par :

f(\mathbf {X} )={\frac {1}{2^{\frac {np}{2}}\left|{\mathbf {V} }\right|^{\frac {n}{2}}\Gamma _{p}({\frac {n}{2}})}}{\left|\mathbf {X} \right|}^{\frac {n-p-1}{2}}e^{-{\frac {1}{2}}{\rm {tr}}({\mathbf {V} }^{-1}\mathbf {X} )}

pour toute matrice $p x p$ X symétrique définie positive, et où $Γ p$ est la fonction gamma multidimensionnelle définie par :

\Gamma _{p}(n/2)=\pi ^{\frac {p(p-1)}{4}}\prod _{j=1}^{p}\Gamma \left[{\frac {n-j+1}{2}}\right].

En fait la définition précédente peut être étendue à tout réel $n \geq p$ . Si $n < p$ , alors la loi de Wishart n'a plus de densité, mais devient une loi singulière[2].

Propriétés

Généralités

Une matrice $X$ aléatoire tirée selon la construction de la définition ci-dessus est toujours une matrice symétrique définie positive. Cela signifie que toutes ses valeurs propres sont strictement positives.

Log-espérance

L'espérance du logarithme est donnée par[3] :

\operatorname {E} [\ln |\mathbf {X} |]=\sum _{i=1}^{p}\psi \left({\frac {n+1-i}{2}}\right)+p\ln 2+\ln |\mathbf {V} |

où $ψ$ est la fonction digamma, c'est-à-dire la dérivée logarithmique de la fonction gamma.

Son calcul est développé ici.

Entropie

L'entropie de la loi de Wishart est donnée par la formule suivante[3] :

\operatorname {H} [\mathbf {X} ]=-\ln B(\mathbf {V} ,n)-{\frac {(n-p-1)}{2}}\operatorname {E} [\ln |\mathbf {X} |]+{\frac {np}{2}}

où $B(\mathbf {V} ,n)$ est la constante de renormalisation de la loi :

B(\mathbf {V} ,n)={\frac {1}{\left|\mathbf {V} \right|^{\frac {n}{2}}2^{\frac {np}{2}}\Gamma _{p}({\frac {n}{2}})}}

L'entropie peut être écrite sous la forme :

{\begin{aligned}\operatorname {H} [\mathbf {X} ]&={\frac {n}{2}}\ln |\mathbf {V} |+{\frac {np}{2}}\ln 2+\ln \Gamma _{p}({\frac {n}{2}})-{\frac {(n-p-1)}{2}}\operatorname {E} [\ln |\mathbf {X} |]+{\frac {np}{2}}\\&={\frac {n}{2}}\ln |\mathbf {V} |+{\frac {np}{2}}\ln 2+{\frac {p(p-1)}{4}}\ln \pi +\sum _{i=1}^{p}\ln \Gamma \left[n/2+(1-j)/2\right]\\&\quad -{\frac {(n-p-1)}{2}}\left(\sum _{i=1}^{p}\psi \left({\frac {n+1-i}{2}}\right)+p\ln 2+\ln |\mathbf {V} |\right)+{\frac {np}{2}}\\&={\frac {n}{2}}\ln |\mathbf {V} |-{\frac {(n-p-1)}{2}}\ln |\mathbf {V} |+{\frac {np}{2}}\ln 2-{\frac {(n-p-1)}{2}}p\ln 2+{\frac {p(p-1)}{4}}\ln \pi \\&\quad +\sum _{i=1}^{p}\ln \Gamma \left[n/2+(1-j)/2\right]-{\frac {(n-p-1)}{2}}\sum _{i=1}^{p}\psi \left({\frac {n+1-i}{2}}\right)+{\frac {np}{2}}\\&={\frac {p+1}{2}}\ln |\mathbf {V} |+{\frac {p(p+1)}{2}}\ln 2+{\frac {p(p-1)}{4}}\ln \pi \\&\quad +\sum _{i=1}^{p}\ln \Gamma \left[n/2+(1-j)/2\right]-{\frac {(n-p-1)}{2}}\sum _{i=1}^{p}\psi \left({\frac {n+1-i}{2}}\right)+{\frac {np}{2}}.\\\end{aligned}}

Fonction caractéristique

La fonction caractéristique de la loi de Wishart est donnée par^{[citation nécessaire]} : $\Theta \mapsto \left|{\mathbf {I} }-2i\,{\mathbf {\Theta } }{\mathbf {V} }\right|^{-n/2}.$

En d'autres termes,

\Theta \mapsto \operatorname {E} \left\{\mathrm {exp} \left[i\cdot \mathrm {tr} (\mathbf {X} {\mathbf {\Theta } })\right]\right\}=\left|{\mathbf {I} }-2i{\mathbf {\Theta } }{\mathbf {V} }\right|^{-n/2}

où $Θ$ et I sont des matrices de même taille que V et I est la matrice unité.

Théorème

Si X suit la loi de Wishart à m degrés de liberté et de matrice de covariance V, et si C est une $q \times p$ -matrice de rang q, alors^{[citation nécessaire]} :

{\mathbf {C} }\mathbf {X} {\mathbf {C} }^{T}\sim {\mathcal {W}}_{q}\left({\mathbf {C} }{\mathbf {V} }{\mathbf {C} }^{T},m\right).

Corollaire 1

Si z est un p-vecteur non nul, alors^{[citation nécessaire]}

{\mathbf {z} }^{T}\mathbf {X} {\mathbf {z} }\sim \sigma _{z}^{2}\chi _{m}^{2}.

où $χ m 2$ est la loi du χ² à m degrés de liberté et $\sigma _{z}^{2}={\mathbf {z} }^{T}{\mathbf {V} }{\mathbf {z} }$ est une constante positive.

Corollaire 2

Considérons le cas où ${\mathbf {z} }^{T}=(0,\ldots ,0,1,0,\ldots ,0)$ (c'est-à-dire le j-ième élément est 1 et les autres 0). Alors le corollaire 1 montre que :

w_{jj}\sim \sigma _{jj}\chi _{m}^{2}

donne la loi marginale de chacun des éléments de la diagonale de la matrice.

Il est à remarquer que la loi de Wishart n'est pas appelée loi du $χ 2$ multidimensionnelle car les lois marginales hors diagonale ne sont pas des lois du $χ 2$ .

Décomposition de Bartlett

La décomposition de Bartlett d'une matrice X suivant une loi de Wishart p-dimensionnelle de matrice d'échelle V et à n degrés de liberté est la factorisation^{[citation nécessaire]} :

\mathbf {X} ={\textbf {L}}{\textbf {A}}{\textbf {A}}^{T}{\textbf {L}}^{T}

où L est la factorisation de Cholesky de V et :

\mathbf {A} ={\begin{pmatrix}{\sqrt {c_{1}}}&0&0&\cdots &0\\n_{21}&{\sqrt {c_{2}}}&0&\cdots &0\\n_{31}&n_{32}&{\sqrt {c_{3}}}&\cdots &0\\\vdots &\vdots &\vdots &\ddots &\vdots \\n_{p1}&n_{p2}&n_{p3}&\cdots &{\sqrt {c_{p}}}\end{pmatrix}}

où $c_{i}\sim \chi _{n-i+1}^{2}$ et $n_{ij}\sim {\mathcal {N}}(0,1)\,$ sont indépendants. Ceci donne une méthode utile pour obtenir des échantillons de valeurs de loi de Wishart[4].

Propriété de concentration

En notant $\mathbb {P}$ la mesure de probabilité par rapport à la matrice aléatoire $X$ d'ordre $n\times p$ (cela correspond à la définition ci-dessus pour $V=I_{p}$ la matrice identité d'ordre $p$ ), ainsi qu'en notant $\lambda _{max}(A)$ (resp. $\lambda _{min}(A)$ ) la plus grande (resp. la plus petite) des valeurs propres d'une matrice $A$ symétrique définie positive, alors on peut énoncer la propriété suivante : les valeurs propres de la matrice aléatoire $X{=}Y^{T}Y$ vérifient[5]

d'une part, $\forall x>0$ , $\mathbb {P} \left(\lambda _{max}(X)\geq n\left(1+{\sqrt {p/n}}+{\sqrt {2x/n}}\right)^{2}\right)\leq e^{-x}$ ,

et d'autre part, $\forall x>0$ , $\mathbb {P} \left(\lambda _{min}(X)\leq n\left(1-{\sqrt {p/n}}-{\sqrt {2x/n}}\right)^{2}\right)\leq e^{-x}$

Ce qui signifie qu'avec une probabilité au moins égale à $1-2e^{-x}$ les valeurs propres d'une telle matrice sont comprises entre $n\left(1-{\sqrt {d/n}}-{\sqrt {2x/n}}\right)^{2}$ et $n\left(1+{\sqrt {d/n}}+{\sqrt {2x/n}}\right)^{2}$ .

Relations avec d'autres lois

La loi de Wishart est liée à la loi de Wishart inverse, notée $W p -1$ , comme suit : si $\mathbf {X} \sim W_{p}(\mathbf {V} ,n)$ et si on effectue le changement de variables $\mathbf {C} =\mathbf {X} ^{-1}$ , alors $\mathbf {C} \sim W_{p}^{-1}(\mathbf {V} ^{-1},n)$ . Cette relation peut-être obtenue en remarquant que la valeur absolue du jacobien de ce changement de variable est $|\mathbf {C} |^{p+1}$ , voir par exemple equation (15.15) dans [Dwyer][6].
La loi de Wishart est un cas particulier de loi gamma multidimensionnelle.

Références

(en) J. Wishart, « The generalised product moment distribution in samples from a normal multivariate population », Biometrika, vol. 20A, n^os 1-2,‎ 1928, p. 32-52 (DOI 10.1093/biomet/20A.1-2.32, JFM 54.0565.02)
“On singular Wishart and singular multivariate beta distributions” by Harald Uhlig, Annals of Statistics, 1994, 395-405 projecteuclid
C.M. Bishop, Pattern Recognition and Machine Learning, Springer 2006, p. 693.
(en) W. B. Smith et R. R. Hocking, « Algorithm AS 53: Wishart Variate Generator », Journal of the Royal Statistical Society. Series C (Applied Statistics), vol. 21, n^o 3,‎ 1972, p. 341-345 (JSTOR 2346290)
(en) Verzelen et Gassiat, « Adaptative estimation of high-dimensional signal to noise ratios », arXiv,‎ 16 mars 2017, p. 41 (lire en ligne)
Paul S. Dwyer, “SOME APPLICATIONS OF MATRIX DERIVATIVES IN MULTIVARIATE ANALYSIS”, JASA 1967; 62:607-625, available JSTOR.

Portail des probabilités et de la statistique

Cet article est issu de Wikipedia. Le texte est sous licence Creative Commons - Attribution - Partage dans les Mêmes. Des conditions supplémentaires peuvent s'appliquer aux fichiers multimédias.

[1] (en) J. Wishart, « The generalised product moment distribution in samples from a normal multivariate population », Biometrika, vol. 20A, n^os 1-2,‎ 1928, p. 32-52 (DOI 10.1093/biomet/20A.1-2.32, JFM 54.0565.02)

[2] “On singular Wishart and singular multivariate beta distributions” by Harald Uhlig, Annals of Statistics, 1994, 395-405 projecteuclid

[bishop693-3] C.M. Bishop, Pattern Recognition and Machine Learning, Springer 2006, p. 693.

[4] (en) W. B. Smith et R. R. Hocking, « Algorithm AS 53: Wishart Variate Generator », Journal of the Royal Statistical Society. Series C (Applied Statistics), vol. 21, n^o 3,‎ 1972, p. 341-345 (JSTOR 2346290)

[5] (en) Verzelen et Gassiat, « Adaptative estimation of high-dimensional signal to noise ratios », arXiv,‎ 16 mars 2017, p. 41 (lire en ligne)

[6] Paul S. Dwyer, “SOME APPLICATIONS OF MATRIX DERIVATIVES IN MULTIVARIATE ANALYSIS”, JASA 1967; 62:607-625, available JSTOR.