Méthode de Stein

La Méthode de Stein est une manière de borner la distance entre deux lois de probabilités pour une certaine distance probabiliste (encore appelée « distance en probabilité », notion différant parfois de celle de distance au sens usuel des espaces métriques). Dans ce qui suit, le terme « distance » se référera à la notion de « distance statistique », sauf mention contraire où l'on parlera de « distance usuelle ».

Soit une distance de la forme ${\displaystyle (1.1)\quad d(P,Q)=\sup _{h\in {\mathcal {H}}}\left|\int hdP-\int hdQ\right|=\sup _{h\in {\mathcal {H}}}\left|Eh(W)-Eh(Z)\right|}$

où ${\displaystyle P}$ et ${\displaystyle Q}$ désignent des mesures de probabilité sur un même espace mesurable ${\displaystyle {\mathcal {X}}}$, ${\displaystyle W}$ et ${\displaystyle Z}$ sont des variables aléatoires respectivement de lois ${\displaystyle P}$ et ${\displaystyle Q}$, ${\displaystyle E}$ est l'espérance et ${\displaystyle {\mathcal {H}}}$ est un ensemble de fonctions de ${\displaystyle {\mathcal {X}}}$ à valeurs dans ${\displaystyle \mathbb {R} }$. L'ensemble ${\displaystyle {\mathcal {H}}}$ doit être suffisamment grand pour que la définition précédente induise effectivement une distance.

Des exemples importants sont la distance en variation totale où ${\displaystyle {\mathcal {H}}=\left\{\mathbb {I} (A)|A\subset {\mathcal {X}}\,\,{\text{mesurable}}\right\}}$ (${\displaystyle \mathbb {I} }$ est la fonction indicatrice), la distance de Kolmogorov où ${\displaystyle {\mathcal {H}}\left\{\mathbb {I} (w\leq 0)|w\in \mathbb {R} \right\}}$ lorsque les mesures de probabilités sont prises sur ${\displaystyle \mathbb {R} }$, et la distance de Wasserstein où l'espace mesurable est lui-même un espace métrique (au sens usuel) et ${\displaystyle {\mathcal {H}}}$ est l'ensemble des applications lipschitziennes de constante de Lipschitz 1. Il est cependant important de noter que toute distance ne peut être représentée sous la forme de ${\displaystyle (1.1)}$.

Dans ce qui suit, ${\displaystyle P}$ désignera la loi que l'on cherche à approximer (par exemple, la loi d'une somme de variables aléatoires dépendantes) par ${\displaystyle Q}$, une loi connue et bien définie (par exemple, la loi normale).

Nous considérons à présent que ${\displaystyle Q}$ est de loi fixée; dans ce qui suit, nous considérons en particulier que ${\displaystyle Q}$ est la loi normale centrée réduite, i.e. ${\displaystyle Z\sim {\mathcal {N}}(0,1)}$, ce qui constitue un exemple d'introduction classique.

Tout d'abord, nous requérons un opérateur ${\displaystyle {\mathcal {A}}}$ qui agit sur un ensemble de fonctions ${\displaystyle {\mathcal {F}}_{\mathcal {A}}:=\left\{f:{\mathcal {X}}\to \mathbb {R} \right\}}$ et qui caractérise la loi ${\displaystyle Q}$, dans le sens que l'équivalence suivante soit vraie:

${\displaystyle (2.1)\quad E({\mathcal {A}}f)(Z)=0{\text{ pour tout }}f\in {\mathcal {F}}\quad \iff \quad Z\sim {\mathcal {N}}(0,1).}$

Un tel opérateur est appelé «Opérateur de Stein» et une telle caractérisation une «caractérisation de Stein»[13].

Pour la loi normale centrée réduite, le Lemme de Stein (en) induit un tel opérateur:

${\displaystyle (2.2)\quad E\left(f'(Z)-Zf(Z)\right)=0{\text{ pour tout }}f\in C_{b}^{1}\quad \iff \quad Z\sim {\mathcal {N}}(0,1)}$

où ${\displaystyle C_{b}^{1}}$ désigne les fonctions absolument continues et d'espérance bornée. Donc nous pouvons ici prendre

${\displaystyle (2.3)\quad ({\mathcal {A}}f)(x)=f'(x)-xf(x).}$

Il y a, en général, une infinité de tels opérateurs et lequel choisir reste une question ouverte. Cependant, il semblerait, pour bon nombre de lois, qu'il y en ait un «particulièrement efficace», comme ${\displaystyle (2.3)}$ pour la loi normale centrée réduite. Il existe différentes manières de construire des opérateurs de Stein (cf. Novak[14], ch. 12).

${\displaystyle P}$ est proche de ${\displaystyle Q}$ pour la distance considérée si l'expression ${\displaystyle (1.1)}$ est proche de ${\displaystyle 0}$. Le principe de la méthode de Stein repose sur le désir que l'opérateur de Stein montre un comportement similaire: si ${\displaystyle P=Q}$, alors ${\displaystyle E{\mathcal {A}}f(W)=0}$ et, comme désiré, si ${\displaystyle P\approx Q}$, nous avons ${\displaystyle E{\mathcal {A}}f(W)\approx 0.}$

Il est généralement possible de trouver une fonction ${\displaystyle f=f_{h}}$ solution de l'équation

${\displaystyle (3.1)\quad ({\mathcal {A}}f)(x)=h(x)-E[h(Z)]\qquad {\text{ pour tout }}x.}$

On appelle ${\displaystyle (3.1)}$ «l'équation de Stein». Remplacer ${\displaystyle x}$ par ${\displaystyle W}$ et passer aux espérances (si cela est permis) en regard de ${\displaystyle W}$, on obtient

${\displaystyle (3.2)\quad E({\mathcal {A}}f)(W)=E[h(W)]-E[h(Z)].}$

Tout le travail n'a d'intérêt que si le membre de gauche de l'équation ${\displaystyle (3.2)}$ est plus facile à borner que le membre de droite (qui n'est autre que l'argument du supremum de ${\displaystyle (1.1)}$).

Si ${\displaystyle Q}$ est la loi normale centrée réduite et si nous utilisons ${\displaystyle (2.3)}$, alors l'équation de Stein correspondante est

${\displaystyle (3.3)\quad f'(x)-xf(x)=h(x)-E[h(Z)]\qquad {\text{pour tout }}x.}$

Si la loi ${\displaystyle Q}$ est de densité ${\displaystyle q}$ (par rapport à la mesure de Lebesgue) alors (Novak (2011), ch. 12)

${\displaystyle (3.4)\quad ({\mathcal {A}}f)(x)=f'(x)+f(x)q'(x)/q(x).}$

Méthodes analytiques. L'équation ${\displaystyle (3.3)}$ peut être résolue explicitement (cf. Chen, Goldstein & Shao[13], ch. 2, p. 14)

${\displaystyle (4.1)\quad f(x)=e^{x^{2}/2}\int _{-\infty }^{x}[h(s)-Eh(Z)]e^{-s^{2}/2}ds.}$

Méthodes des générateurs. Si ${\displaystyle {\mathcal {A}}}$ est le générateur d'un processus de Markov ${\displaystyle (W_{t})_{t\geq 0}}$ (cf. Barbour (1988)[5], Götze (1991)[6]), alors la solution à ${\displaystyle (3.2)}$ est

${\displaystyle (4.2)\quad f(x)=-\int _{0}^{\infty }[E^{x}h(W_{t})-Eh(Z)]dt,}$

où ${\displaystyle E^{x}}$ est l'espérance en regard du processus ${\displaystyle W}$ commençant en ${\displaystyle x}$. Cependant, il faut prouver que la solution ${\displaystyle (4.2)}$ existe pour toutes les fonctions ${\displaystyle h\in {\mathcal {H}}}$ désirées.

Habituellement, on essaie de fournir des bornes pour la solution ${\displaystyle f}$ de l'équation de Stein, ainsi que pour ses dérivées (ou différences) en termes de ${\displaystyle h}$ et de ses dérivées (ou différences), c'est-à-dire des inégalités de la forme

${\displaystyle (5.1)\quad ||D^{k}f||\leq C_{k,l}||D^{l}h||,}$

pour certains ${\displaystyle k,l=0,1,2,\dots }$ (typiquement, ${\displaystyle k\geq l}$ ou ${\displaystyle k\geq l-1}$, en fonction de la forme de l'opérateur de Stein), où ${\displaystyle \Vert \cdot \Vert }$ est la norme supremum (en). Ici, ${\displaystyle D^{k}}$ dénote l'opérateur différentiel, mais dans les configurations discrètes, cela renvoie généralement à l'opérateur de différence. Les constantes ${\displaystyle C_{k,l}}$ peuvent contenir des paramètres de la loi ${\displaystyle Q}$. S'il y en a, ils sont souvent appelés «facteurs de Stein».

Dans le cas de ${\displaystyle (4.1)}$, on peut montrer[13] pour la norme supremum que

${\displaystyle (5.2)\quad ||f||_{\infty }\leq \min\{{\sqrt {\pi /2}}||h||_{\infty },2||h'||_{\infty }\},\quad ||f'||_{\infty }\leq \min\{2||h||_{\infty },4||h'||_{\infty }\},\quad ||f''||_{\infty }\leq 2||h'||_{\infty },}$

où la dernière borne est évidemment applicable uniquement si ${\displaystyle h}$ est différentiable (ou, au moins, lipschitzienne, ce qui, par exemple, n'est pas le cas pour la distance en variation totale ou la distance de Kolmogorov). Comme la loi normale centrée réduite n'a pas de paramètres particuliers, dans ce cas spécifique, les constantes n'en contiennent pas.

Si l'on parvient à obtenir des bornes de la forme générale ${\displaystyle (5.1)}$, il est souvent possible de traiter de nombreuses distances probabilistes de manière générale.