Winsorisation

Considérons un jeu de données numériques ${\displaystyle X=(x_{1},...,x_{n})}$ et une statistique ${\displaystyle T(X)}$ (la moyenne ou l'écart-type de ${\displaystyle X}$ par exemple). Winsoriser cette statistique revient à la calculer non pas sur le jeu de données original ${\displaystyle X}$, mais sur un jeu de données modifié où une proportion ${\displaystyle \alpha }$ des valeurs les plus extrêmes sont "écrasées" sur les quantiles de niveaux ${\displaystyle {\frac {\alpha }{2}}}$ et ${\displaystyle 1-{\frac {\alpha }{2}}}$ [2]. La proportion ${\displaystyle \alpha }$ doit être choisie par le statisticien en fonction de la robustesse souhaitée (un choix courant est ${\displaystyle \alpha =0,05}$).

Plus formellement, définissons ${\displaystyle X'=(x'_{1},...,x'_{n})}$ par

${\displaystyle x'_{i}={\begin{cases}q_{\frac {\alpha }{2}}(X)&{\text{ si }}x_{i}<q_{\frac {\alpha }{2}}(X)\\x_{i}&{\text{ si }}q_{\frac {\alpha }{2}}<x_{i}<q_{1-{\frac {\alpha }{2}}}(X)\\q_{1-{\frac {\alpha }{2}}}(X)&{\text{ si }}x_{i}>q_{1-{\frac {\alpha }{2}}}(X)\end{cases}}}$

où ${\displaystyle q_{\frac {\alpha }{2}}(X)}$ et ${\displaystyle q_{1-{\frac {\alpha }{2}}}(X)}$ désignent les quantiles des données ${\displaystyle X}$ de niveaux ${\displaystyle {\frac {\alpha }{2}}}$ et ${\displaystyle 1-{\frac {\alpha }{2}}}$. Alors la statistique winsorisée de ${\displaystyle T(X)}$ est ${\displaystyle T(X')}$.

Prenons ${\displaystyle \alpha =0,1}$ et considérons le jeu de données suivant

${\displaystyle X=(92;19;101;58;\mathbf {1053} ;91;26;78;10;13;\mathbf {-40} ;101;86;85;15;89;89;28;-5;41)}$

le quantile de ${\displaystyle X}$ à 5% est ${\displaystyle -5}$ et le quantile à 95% est ${\displaystyle 101}$.

Construisons le jeu de données :

${\displaystyle X'=(92;19;101,58,\mathbf {101} ,91,26,78,10,13,\mathbf {-5} ,101,86,85,15,89,89,28,-5,41)}$

en remplaçant les valeurs inférieures à ${\displaystyle -5}$ par ${\displaystyle -5}$ et celles supérieures à ${\displaystyle 101}$ par ${\displaystyle 101}$.

Pour calculer des statistiques sur ${\displaystyle X}$ winsorisées à 90%, il suffit alors de les calculer sur ${\displaystyle X'}$:

• la moyenne winsorisée à 90% de ${\displaystyle X}$ (c'est-à-dire la moyenne de ${\displaystyle X'}$) est de ${\displaystyle 55,65}$, alors que la moyenne non winsorisée de ${\displaystyle X}$ est de ${\displaystyle 101,5}$.

• la variance winsorisée à 90% de ${\displaystyle X}$ (c'est-à-dire la variance de ${\displaystyle X'}$) est de ${\displaystyle 1545.6}$, alors que la variance non winsorisée de ${\displaystyle X}$ est de ${\displaystyle 51865,4}$.

• la statistique T winsorisée à 90% pour effectuer un test de Student sur l'hypothèse ${\displaystyle H_{0}:\mu =0}$ est de ${\displaystyle {\sqrt {20}}{\frac {55.65}{\sqrt {1545.6}}}=6.33}$ et donne une p-value de ${\displaystyle 4,484\times 10^{-06}}$. Non winsorisée, la statistique T donne ${\displaystyle 1,9932}$ et la p-value ${\displaystyle 0,0608}$. On remarque que les conclusions du test sont différentes pour un niveaux de 5% ou moins. Le test winsorisé est plus fiable dans ce cas, car il n'est pas souhaitable que deux observations seulement parmi les 20 puissent déterminer l'issue du test.

• la médiane winsorisée à 90% de ${\displaystyle X}$ est de ${\displaystyle 68}$, de même que la médiane non winsorisée.

La statistique winsorisée est plus robuste que la statistique originale, au sens que sa valeur sera moins influencée par les valeurs extrêmes.

Il est aisé de voir que le point de rupture (en) d'une statistique winsorisée est de ${\displaystyle \alpha }$[3].

Différentes fonctions permettent de winsoriser des données :

• sous R, la fonction Winsorize de la librarie DescTools.
• sous Python, la fonction mstats.winsorize de la librairie scipy.stats.
• sous Excel, la fonction WINSORIZE de la librairie Real Statistics Resource Pack.

• moyenne tronquée
• statistiques robustes

(en) Cecil Hastings, Jr., Frederick Mosteller, John W. Tukey et Charles P. Winsor, « Low Moments for Small Samples: A Comparative Study of Order Statistics », The Annals of Mathematical Statistics, vol. 18, n^o 3,‎ 1947, p. 413-426 (lire en ligne)

• Portail des probabilités et de la statistique