Distance statistique

Soit P et Q des lois de probabilité, définies sur un espace ${\displaystyle \Omega }$, avec P absolument continue par rapport à Q. Pour toute fonction convexe f telle que f(1) = 0, on définit la « f-divergence[1]^,[2]^,[3] » de P par rapport à Q par :

$${\displaystyle D_{f}(P\parallel Q)=\int _{\Omega }f\left({\frac {\mathrm {d} P}{\mathrm {d} Q}}\right)\,\mathrm {d} Q.}$$

Les choix possibles de la fonction f permettent d'obtenir plusieurs constructions classiques[4]^,[5] :

• la distance en variation totale correspond au choix ${\displaystyle f(t)=|t-1|/2}$.
• la divergence de Kullback-Leibler correspond au choix ${\displaystyle f(t)=t\log t}$[Note 1].
• la distance de Hellinger correspond au choix ${\displaystyle f(t)=2(1-{\sqrt {t}})}$[6].

Une autre construction est la « α-divergence[7]^,[Note 2] » qui est plus adaptée aux lois discrètes, et est définie pour tout ${\displaystyle \alpha \in \mathbb {R} ^{+}\cup \{\infty \}}$ par

$${\displaystyle D_{\alpha }(P\|Q)=\lim _{x\to \alpha }{\frac {1}{x-1}}\log {\Bigg (}\sum _{i=1}^{n}{\frac {p_{i}^{x}}{q_{i}^{x-1}}}{\Bigg )}\,}$$

Ici encore des choix particuliers de ${\displaystyle \alpha }$ permettent d'obtenir des mesures de distance classiques :

• la distance de Bhattacharyya correspond (à un facteur multiplicatif près) au choix ${\displaystyle \alpha =1/2}$[8]^,[9].
• la divergence de Kullback-Leibler correspond au choix ${\displaystyle \alpha =1}$.

Il existe encore d'autres familles, notamment les β- et γ-divergences[10] et les divergences de Bregman, qui recoupent en partie les deux familles discutées ci-dessus.

D'autres distances statistiques n'appartiennent pas aux familles discutées ci-dessus, notamment :

• la distance de Kolmogorov-Smirnov ;
• la distance de Wasserstein ;
• la distance de Lévy-Prokhorov ;
• la distance de Mahalanobis ;
• la distance de Łukaszyk-Karmowski;
• la distance d'Itakura-Saito.