Distance de Hellinger

En Théorie des probabilités, pour toutes mesures de probabilités $P$ et $Q$ absolument continues par rapport à une troisième mesure $\lambda$ , le carré de la distance de Hellinger entre $P$ et $Q$ est donné par :

$H^{2}(P,Q)={\frac {1}{2}}\displaystyle \int \left({\sqrt {\frac {dP}{d\lambda }}}-{\sqrt {\frac {dQ}{d\lambda }}}\right)^{2}d\lambda .$

où ${\frac {dP}{d\lambda }}$ et ${\frac {dQ}{d\lambda }}$ désignent respectivement les dérivées de Radon-Nykodym de $P$ et $Q$ . Cette définition ne dépend pas de $\lambda$ , si bien que la distance de Hellinger entre $P$ et $Q$ ne change pas si $\lambda$ est remplacée par une autre mesure de probabilité par rapport à laquelle $P$ et $Q$ soient absolument continues.

Pour alléger l'écriture, la formule précédente est couramment écrite :

$H^{2}(P,Q)={\frac {1}{2}}\int \left({\sqrt {dP}}-{\sqrt {dQ}}\right)^{2}.$

La distance de Hellinger $H(P,Q)$ ainsi définie vérifie :

$0\leq H(P,Q)\leq 1.$

Remarque : Certains auteurs ne font pas figurer le facteur 1/2 précédant l'intégrale dans cette définition.

Propriétés

La distance de Hellinger est une α-divergence de Amari[1], correspondant à la valeur α =0.

À ce titre c'est une f-divergence de Csiszár[2] et une divergence de Bregman[3].

Comme il s'agit de la seule distance (symétrique, auto-duale) de la classe des α-divergences, c'est la distance canonique de l'espace des distributions de la famille exponentielle, le système de coordonnées associé étant $r_{i}=2{\sqrt {P_{i}}}$ .

Autre conséquence, étant une α-divergence, la courbure locale (son Hessien en P) de la distance de Hellinger est égale à l'information de Fisher de la distribution P :

I_{uv}=\sum _{i}{\frac {\partial r_{i}}{\partial u}}{\frac {\partial r_{i}}{\partial v}}

I_{uv}=4\sum _{i}{\frac {\partial {\sqrt {P_{i}}}}{\partial u}}{\frac {\partial {\sqrt {P_{i}}}}{\partial v}}

.

La distance de Hellinger est liée directement avec la distance de Bhattacharyya :

D_{B}(P,Q)=-\ln \left(\sum _{i}{\sqrt {P_{i}Q_{i}}}\right)

par la relation

H(P,Q)={\sqrt {1-\exp(-D_{B}(P,Q))}}

.

Exemples

La distance de Hellinger entre deux lois normales $P\sim {\mathcal {N}}(\mu _{1},\sigma _{1}^{2})$ et $Q\sim {\mathcal {N}}(\mu _{2},\sigma _{2}^{2})$ est donnée par

$H\left(P,Q\right)={\sqrt {1-{\sqrt {{\frac {2\sigma _{1}\sigma _{2}}{\sigma _{1}^{2}+\sigma _{2}^{2}}}\,e^{-{\frac {1}{2}}{\frac {(\mu _{1}-\mu _{2})^{2}}{\sigma _{1}^{2}+\sigma _{2}^{2}}}}}}}}.$

La distance de Hellinger entre deux lois exponentielles $P~\sim {\rm {{Exp}(\alpha )}}$ et $Q~\sim {\rm {{Exp}(\beta )}}$ est donnée par :

$H\left(P,Q\right)={\sqrt {1-{\frac {2{\sqrt {\alpha \beta }}}{\alpha +\beta }}}}.$

Bibliographie

(en) Yang, Grace Lo; Le Cam, Lucien M., Asymptotics in Statistics : Some Basic Concepts, Berlin, Springer, 2000, 2^e éd., 285 p. (ISBN 978-0-387-95036-5, LCCN 00030759, lire en ligne)
(en) Vaart, A. W. van der, Asymptotic Statistics (Cambridge Series in Statistical and Probabilistic Mathematics), Cambridge, UK, Cambridge University Press, 2006, 1^re éd., 443 p., poche (ISBN 978-0-521-78450-4, LCCN 98015176, lire en ligne)
(en) Pollard, David E., A user's guide to measure theoretic probability, Cambridge, UK, Cambridge University Press, 2002, 351 p., poche (ISBN 978-0-521-00289-9, LCCN 2001035270, lire en ligne)

Notes et références

S. Amari, H. Nagaoka, Methods of information geometry, Translations of mathematical monographs; v. 191, American Mathematical Society, 2000 (ISBN 978-0821805312)
(en) I. Csiszár, « Information-type measures of difference of probability distributions and indirect observation », Studia Sci. Math. Hungar., vol. 2,‎ 1967, p. 229-318
L. Bregman, The relaxation method of finding the common point of convex sets and its application to the solution of problems in convex programming, USSR Computational Mathematics and Mathematical Physics, Vol. 7(3): 200--217, 1967.

(en) Cet article est partiellement ou en totalité issu de l’article de Wikipédia en anglais intitulé « Hellinger distance » (voir la liste des auteurs).

Articles connexes

Portail des probabilités et de la statistique

Cet article est issu de Wikipedia. Le texte est sous licence Creative Commons - Attribution - Partage dans les Mêmes. Des conditions supplémentaires peuvent s'appliquer aux fichiers multimédias.

[Amari_2000-1] S. Amari, H. Nagaoka, Methods of information geometry, Translations of mathematical monographs; v. 191, American Mathematical Society, 2000 (ISBN 978-0821805312)

[csiszar-2] (en) I. Csiszár, « Information-type measures of difference of probability distributions and indirect observation », Studia Sci. Math. Hungar., vol. 2,‎ 1967, p. 229-318

[Bregman_1967-3] L. Bregman, The relaxation method of finding the common point of convex sets and its application to the solution of problems in convex programming, USSR Computational Mathematics and Mathematical Physics, Vol. 7(3): 200--217, 1967.