Fonction d'influence

La fonctionnelle associée à la moyenne arithmétique est ${\displaystyle T_{moy}:F\mapsto \mathbb {E} _{X\sim F}[X]}$.

Il est aisé de montrer que sa fonction d'influence est :

${\displaystyle FI(T_{moy},F,x)=x-\mu }$

où ${\displaystyle \mu }$ est l'espérance de la distribution ${\displaystyle F}$. Cette fonction n'est pas bornée, la moyenne arithmétique n'est donc pas robuste vis-à-vis des valeurs aberrantes : une seule observation ayant une valeur extrême peut induire un biais arbitrairement grand sur la moyenne.

La fonctionnelle définissant la médiane est ${\displaystyle T_{med}:F\mapsto F^{-1}(1/2)}$. Elle a pour fonction d'influence[4] :

${\displaystyle FI(T_{med},F,x)={\frac {1}{2f(m)}}\chi _{\mathbb {R} ^{+}}(x-m)-\chi _{\mathbb {R} ^{-}}(x-m)}$

où ${\displaystyle f}$ désigne la densité de la distribution ${\displaystyle F}$, ${\displaystyle m}$ la médiane de ${\displaystyle F}$ et ${\displaystyle \chi _{I}}$ la fonction indicatrice de l'intervalle ${\displaystyle I}$.

Cette fonction est bornée, et constante par morceaux. Toute contamination par une donnée supérieure (resp. inférieure) à la médiane a le même impact positif (resp.négatif) sur la médiane, quelle que soit sa valeur. Il s'agit donc d'un estimateur robuste. Par comparaison, une contamination de la moyenne par une valeur extrême a un impact plus important que par une donnée proche de la médiane.

L'estimateur de Huber du centre de ${\displaystyle n}$ observations ${\displaystyle x_{1},...,x_{n}}$ est défini comme la solution en ${\displaystyle \mu }$ de l'équation ${\displaystyle \sum _{i=1}^{n}\psi _{c}(x_{i}-\mu )=0}$ , où ${\displaystyle \psi _{c}(t)=\left\{{\begin{array}{ccc}-c&\mathrm {si} &t<-c\\t&\mathrm {si} &-c\leq t\leq c\\c&\mathrm {si} &t>c\end{array}}\right.}$ et ${\displaystyle c}$ est une constante à fixer par le statisticien. La fonctionnelle associée est donc ${\displaystyle T_{c}:F\mapsto \mu$ :\mathbb {E} _{X\sim F}\left(\psi _{c}(X-\mu )\right)=0} . La fonction d'influence de cette estimateur est :

${\displaystyle FI(T_{c},F,x)=a(F)\cdot \psi _{c}(x-\mu )}$

où ${\displaystyle a(F)=1/P_{F}(|X-T_{c}(F)|<c)}$.

Cette fonction d'influence est bornée. Elle présente un compromis entre la robustesse de la médiane (sur laquelle tous les points ont la même influence) et la moyenne (sur laquelle un point à une influence proportionnelle à son écart à l'espérance de la distribution). Un point à une influence proportionnelle à son écart à ${\displaystyle T_{c}(F)}$ tant que cet écart reste inférieur à ${\displaystyle c}$, au-delà tous les points ont une influence valant ${\displaystyle \pm a(F)\times c}$.

Considérons un modèle linéaire ${\displaystyle Y=X^{T}\beta +\varepsilon }$ où ${\displaystyle Y}$ est un variable aléatoire réelle, ${\displaystyle \beta \in \mathbb {R} ^{p}}$ le vecteur des paramètres, ${\displaystyle X}$ une variable aléatoire à valeurs dans ${\displaystyle \mathbb {R} ^{p}}$ dont la première coordonnée vaut ${\displaystyle 1}$ (de sorte que ${\displaystyle \beta }$ comprend une ordonnée à l'origine) et ${\displaystyle \varepsilon }$ est une variable aléatoire réelle d'espérance nulle.

Étant donné ${\displaystyle n}$ observations ${\displaystyle (x_{i},y_{i})_{i=1,...,n}}$, l'estimateur des moindres carrés de ${\displaystyle \beta }$ est donné par ${\displaystyle {\hat {\beta }}=(\sum _{i=1}^{n}x_{i}x_{i}^{T})^{-1}\sum _{i=1}^{n}y_{i}x_{i}}$. La fonctionnelle associée à cet estimateur est

${\displaystyle T_{mc}(F_{X,Y})=\mathbb {E} _{(X,Y)\sim F_{X,Y}}(XX^{T})^{-1}\mathbb {E} _{(X,Y)\sim F_{X,Y}}(YX)}$

où ${\displaystyle F_{X,Y}}$ désigne la distribution jointe de ${\displaystyle X}$ et ${\displaystyle Y}$.

La fonction d'influence de cette fonctionnelle est:

${\displaystyle FI(T_{mc},F_{X,Y},(x,y))=\mathbb {E} (XX^{T})^{-1}(x^{t}\beta -y)x}$.

Cette fonction d'influence n'est pas bornée. L'estimateur des moindres carrés n'est donc pas robuste contre des données aberrantes. La fonction d'influence est le produit d'une matrice ${\displaystyle \mathbb {E} (XX^{T})}$ qui ne dépend pas de la contamination ${\displaystyle (x,y)}$, du résidu de la contamination ${\displaystyle x^{T}\beta -y}$, et de la variable explicative de la contamination ${\displaystyle x}$. Une donnée a donc un fort impact sur l'estimation si son résidu est élevé ou si sa variable explicative a une valeur extrême [5].

La sensibilité aux erreurs aberrantes (gross error sensitivity en anglais) d'une statistique ${\displaystyle T}$ en une distribution ${\displaystyle F}$ est définie comme la borne supérieure (éventuellement infinie) de la norme de sa fonction d'influence. Dans le cas univarié, cette sensibilité s'écrit

${\displaystyle \gamma (T,F)=\sup _{z}|FI(T,F,z)|}$.

Dans le cas multivarié, le choix de la norme utilisée à la place de la valeur absolue donne différentes définitions:

• La sensibilité non standardisée, ${\displaystyle \gamma _{u}(T,F)=\sup _{z}\lVert FI(T,F,z)\rVert _{2}}$,
• La sensibilité auto-standardisée, ${\displaystyle \gamma _{s}(T,F)=\sup _{z}\left\{FI(T,F,z)^{T}\cdot V_{T,F}\cdot FI(T,F,z)\right\}}$ où ${\displaystyle V_{T,F}}$ désigne la variance asymptotique de la statistique ${\displaystyle T}$,
• La sensibilité standardisée par l'information de Fisher ${\displaystyle \gamma _{i}(T,F)=\sup _{z}\left\{FI(T,F,z)^{T}\cdot J\cdot FI(T,F,z)\right\}}$ où ${\displaystyle J}$ désigne l'information de Fisher associée au paramètre ${\displaystyle T(F)}$, si celle-ci est disponible.

Il s'agit d'un indicateur de la robustesse d'une statistique ${\displaystyle T}$: plus cette sensibilité est faible, plus la statistique est robuste.

On dit qu'une statistique ou qu'un estimateur est B-robuste (B est l'initiale de bounded en anglais) lorsque sa fonction d'influence est bornée, c'est-à-dire lorsque sa sensibilité aux erreurs aberrantes est finie. Intuitivement, cela signifie que cette statistique ne peut pas être "cassée" par une seule observation mal placée. Généralement, les estimateurs classiques ne sont pas B-robustes: moyennes, écart-type, estimateur des moindres carrés, la plupart des estimateurs par maximum de vraisemblance ou par méthode des moments. Plusieurs méthodes introduites par les statistiques robustes existent pour obtenir des estimateurs B-robustes.

La sensibilité aux variations locales (local shift sensitivity en anglais) donne une indication des variations de la fonction d'influence :

${\displaystyle \lambda =\sup _{x\neq y}{\frac {\lVert FI(T,F,x)-FI(T,F,y)\rVert }{\lVert x-y\rVert }}}$>.

Une fonction d'influence peut être bornée mais avoir une sensibilité aux variations locales finie et vice-versa.

Le point de rejet d'une statistique ${\displaystyle T}$ en ${\displaystyle F}$ est défini comme le rayon au delà duquel une observation n'a plus aucune influence sur la statistique, ${\displaystyle \rho (T,F)=\inf _{r}\{r>0:\forall x:|x|>r,FI(T,F,x)=0\}.}$ Une point de rejet fini signifie que la statistique ${\displaystyle T}$ n'est plus du tout influencée par des observations trop extrêmes. Ce peut être une propriété recherchée de certains estimateurs si l'on suspecte par exemple que des données aberrantes sont issues d'un processus différent des autres et n'apportent aucune information.

Le point de rupture (breakdown point en anglais) désigne la proportion de contamination suffisant à donner une valeur aberrante à un estimateur. Plus formellement, c'est la proportion minimale de contamination pouvant induire un biais asymptotique arbitrairement grand :

${\displaystyle \rho (T,F)=\inf \left\{\varepsilon$ :\sup _{z}\left\{\lVert T(F)-T\left((1-\varepsilon )F+\varepsilon \Delta _{z}\right)\rVert =+\infty \right\}\right\}} .

Le point de rupture de la médiane est par exemple de ${\displaystyle 0.5}$ car il faut nécessairement changer la moitié des données pour pouvoir faire prendre à la médiane n'importe quelle valeur aberrante. Le point de rupture de la moyenne en revanche est de ${\displaystyle 0}$ car une seule donnée, placée suffisamment loin des autres, permet de donner à la moyenne n'importe quelle valeur.

Le point de rupture n'est pas défini à partir de la fonction d'influence mais il y est lié. En effet, un estimateur ayant un point de rupture non nul est nécessairement B-robuste. La réciproque n'est cependant pas vraie en général, il existe des estimateurs B-robustes ayant un point de rupture nul, même si ceux-ci sont rares.

La fonction d'influence est d'espérance nulle lorsque la contamination suit la même loi que les données :

${\displaystyle \mathbb {E} _{X\sim F}\left[FI(T,F,X)\right]=0}$.

Cette propriété, combinée à l'utilisation de la fonction d'influence comme développement limité permet une approximation intéressante. Considérons un échantillon ${\displaystyle X_{1},...X_{n}}$ de variables aléatoires indépendantes et identiquement distribuées suivant une distribution ${\displaystyle F}$ et notons ${\displaystyle {\hat {F}}_{n}}$ la fonction de répartition empirique de cet échantillon. Alors :

${\displaystyle {\begin{array}{rcl}T(X_{1},\cdots ,X_{n})&=&T({\hat {F}}_{n})\\&\approx &T(F)+\int FI(T,F,x)d({\hat {F}}_{n}-F)(x)\\&=&T(F)+\int FI(T,F,x)d{\hat {F}}_{n}(x)-\int FI(T,F,x)dF(x)\\&=&T(F)+\mathbb {E} _{X\sim {\hat {F}}_{n}}FI(T,F,X)-\mathbb {E} _{X\sim F}FI(T,F,X)\\&=&T(F)+{\frac {1}{n}}\sum _{i=1}^{n}FI(T,F,X_{i})-0.\end{array}}}$

Ce qui permet d'approximer ${\displaystyle T(F)}$ par ${\displaystyle T(X_{1},\cdots ,X_{n})-{\frac {1}{n}}\sum _{i=1}^{n}FI(T,F,X_{i})}$.

Cela peut être utile pour corriger un éventuel biais de ${\displaystyle T(X_{1},...,X_{n})}$ dû à la taille finie de l'échantillon. Cette correction est très proche de celle réalisée par la méthode du jackknife. Pour rendre ce lien plus explicite, on peut remplacer dans l'expression précédente ${\displaystyle FI(T,F,X_{i})}$ par ${\displaystyle n\times \left(T(X_{1},...,X_{n})-T(X_{1},\cdots ,X_{i-1},X_{i+1},\cdots ,X_{n})\right)}$, ce qui revient à approximer la fonction d'influence par la courbe de sensibilité.

La variance asymptotique d'une statistique ${\displaystyle T}$ est définie comme la limite de ${\displaystyle n\cdot \mathrm {var} \left(T(X_{1},...,X_{n})\right)}$ lorsque ${\displaystyle n}$ tend vers l'infini. Elle peut être calculée à partir de la fonction d'influence.

Notons ${\displaystyle X=(X_{1},...,X_{n})}$un échantillon aléatoire où les ${\displaystyle X_{i}}$ sont indépendants et identiquement distribués selon une distribution ${\displaystyle F}$. Alors, la variance asymptotique de ${\displaystyle T(X)}$ correspond à la variance de sa fonction d'influence :

${\displaystyle \lim _{n\to +\infty }n\cdot \mathrm {var} (T(X))=\mathbb {E} _{X\sim F}\left(FI(T,F,X)\cdot FI(T,F,X)^{T}\right).}$

La fonction d'influence d'un M-estimateur se calcule facilement à partir de sa fonction de score. Soit ${\displaystyle {\hat {\theta }}}$ un M-estimateur d'un paramètre ${\displaystyle \theta }$. Notons ${\displaystyle \psi }$ sa fonction de score. Étant donné un échantillon, cet estimateur est donc solution de l'équation ${\displaystyle \sum _{i=1}^{n}\psi (x_{i},\theta )=0}$.

Alors, si ${\displaystyle \theta }$ est consistent et vérifie quelques conditions de régularités, la fonction d'influence de ${\displaystyle {\hat {\theta }}}$ est donnée par :

${\displaystyle FI({\hat {\theta }},F,x)=-M^{-1}\cdot \psi (x,\theta )}$

où ${\displaystyle M=-\mathbb {E} _{X\sim F}\left[{\frac {\partial }{\partial \theta }}\psi (X,\theta )\right]}$ et où ${\displaystyle \theta }$ est la vraie valeur du paramètre.

La fonction d'influence d'un estimateur est donc proportionnelle à sa fonction de score. Il s'ensuit qu'un M-estimateur est B-robuste si et seulement si sa fonction de score est bornée. Cela donne une grande importance aux M-estimateurs dans les statistiques robustes. En effet il est facile de construire des estimateur robustes par exemple en tronquant simplement la fonction de score d'estimateurs existants (et en corrigeant le biais induit).