Paradoxe de Simpson

Pour expliquer le paradoxe de Simpson, imaginons que l'on mesure la performance scolaire de différents élèves en fonction de la quantité de sport pratiqué. Supposons que l'on obtienne les résultats présentés dans le graphique en tête de cet article : l'axe horizontal x (abscisse) représente la quantité de sport pratiqué (par exemple en heures par semaine) et l'axe vertical y (ordonnée) représente la performance scolaire (par exemple, la moyenne des notes sur 10). Dans cet exemple imaginaire, on voit que parmi les élèves « bleus » ceux qui pratiquent davantage de sport sont meilleurs à l'école et il en est de même dans le groupe « rouge ». Pourtant, quand on combine les deux groupes on a une relation inversée qui semble indiquer que plus on pratique de sport (x élevé), moins on obtient de bonnes performances scolaires (baisse sur l'axe y) : l'observation des deux groupes combinés semble contredire ce qu'on a observé dans chacun des groupes.

Cet exemple-jouet illustre l'existence de différences entre les groupes (bleu et rouge) dont on n'a pas tenu compte dans l'analyse. En les négligeant, on peut aboutir à des conclusions qui semblent contradictoires. C'est un exemple du paradoxe de Simpson^{[réf. nécessaire]}.

Illustration animée du paradoxe de Simpson.

Pour illustrer ce paradoxe de manière plus détaillée, considérons deux contributeurs de Wikipédia : Lisa et Bart. La première semaine, Lisa améliore 60 % des articles qu'elle modifie alors que Bart améliore 90 % des articles qu'il modifie. La deuxième semaine, Lisa n'améliore que 10 % des articles et Bart s'en tient à un score de 30 %. Les deux fois, Bart obtient un meilleur score que Lisa. Mais lorsque les deux actions sont combinées, Lisa a amélioré un plus grand pourcentage que Bart : elle a amélioré un peu plus de 55 % des articles qu'elle a modifiés alors que Bart n'en a amélioré même pas 36 %.

Le résultat au bout des deux semaines ne peut être déduit des seuls quatre premiers pourcentages car il dépend du nombre de pages modifiées par chaque contributeur. Il faut donc disposer de ces nombres pour élucider ce paradoxe :

La première semaine, Lisa modifie 100 articles. Elle améliore donc 60 articles. Pendant ce temps, Bart s'occupe de 10 articles et en améliore ainsi 9. La deuxième semaine, Lisa ne modifie que 10 articles et n'améliore qu'une seule page. Bart modifie 100 articles et en améliore 30. Quand le résultat à la fin des deux semaines est combiné, on constate que les deux contributeurs ont modifié le même nombre d'articles (110) mais que Lisa en a amélioré 61 alors que Bart n'en a amélioré que 39.

Il apparaît que les deux données, séparées, soutiennent une hypothèse donnée mais, une fois rassemblées, démontrent l'hypothèse inverse.

D'une manière plus formelle :

Dans les deux cas, Bart a un meilleur pourcentage d'amélioration. Mais en combinant les deux résultats, nous voyons que Lisa et Bart ont modifié 110 articles. On établit ainsi :

• ${\displaystyle S_{A}={\begin{matrix}{\frac {61}{110}}\end{matrix}}}$ — Lisa a amélioré 61 articles.
• ${\displaystyle S_{B}={\begin{matrix}{\frac {39}{110}}\end{matrix}}}$ — Bart en a amélioré seulement 39.
• ${\displaystyle S_{A}>S_{B}~}$ — Lisa repasse en tête (hypothèse opposée)

Bart est meilleur pour chaque semaine mais globalement plus mauvais, d'où le paradoxe.

Les bases mathématiques du paradoxe sont sans équivoque. Si ${\displaystyle S_{B}(1)>S_{A}(1)~}$ et ${\displaystyle S_{B}(2)>S_{A}(2)~}$, on sent que ${\displaystyle S_{B}~}$ doit être plus grand que ${\displaystyle S_{A}~}$. Mais si des pondérations différentes sont utilisées pour obtenir le score final de chaque personne, alors cette tendance s'inverse.

Le premier score de Lisa est pondéré : ${\displaystyle {\begin{matrix}{\frac {100}{110}}\end{matrix}}}$; de même pour Bart : ${\displaystyle {\begin{matrix}{\frac {10}{110}}\end{matrix}}}$.

Mais ces poids sont inversés par la suite.

• ${\displaystyle S_{A}={\begin{matrix}{\frac {100}{110}}\end{matrix}}S_{A}(1)+{\begin{matrix}{\frac {10}{110}}\end{matrix}}S_{A}(2)}$
• ${\displaystyle S_{B}={\begin{matrix}{\frac {10}{110}}\end{matrix}}S_{B}(1)+{\begin{matrix}{\frac {100}{110}}\end{matrix}}S_{B}(2)}$

Finalement, la question est de savoir qui est le plus efficace. Lisa paraît supérieure grâce à son succès global qui est le plus grand. Mais il est possible de reformuler la situation afin que Bart apparaisse plus efficace. Supposons que le cas se présente comme suit :

La première semaine, Lisa et Bart corrigent des erreurs simples, par exemple des coquilles. Mais la deuxième semaine, ils s'attaquent à la neutralité des articles, tâche qui nécessite une réflexion plus poussée. Maintenant, on remarque que Bart s'en sort mieux que Lisa dans la correction de la neutralité. Malgré ses interventions, Bart est globalement moins efficace que Lisa mais la grande différence vient du fait que Lisa s'est principalement occupée de tâches triviales de la première semaine alors que Bart a fait un peu de tout, et surtout des neutralisations plus complexes.

On remarque ainsi à travers cet exemple que le contexte est important pour qualifier la notion de succès, concept qui peut être trompeur si l'on s'en tient aux chiffres^{[réf. nécessaire]}.

Un exemple réel provenant d'une étude médicale[1]^,[2] sur le succès de deux traitements contre les calculs rénaux permet de voir le paradoxe sous un autre angle.

Cette table montre le succès des traitements A et B pour soigner petits et gros calculs :

Dans les deux cas, le traitement A est plus efficace.

Toutefois, si l'on construit un résultat global en additionnant naïvement les traitements de petits et gros calculs, on trouve que B est plus efficace.

Ce qui crée le paradoxe, et l'impression erronée que B est globalement plus efficace, c'est que le traitement A a été donné beaucoup plus souvent pour les gros calculs, qui sont plus difficiles à soigner. Le rebroussement de cette inégalité, qui conduit au paradoxe, se produit à cause de deux effets concurrents :

1. La variable supplémentaire (ici la taille des calculs) a un impact significatif sur les rapports, elle a une influence en même temps sur le choix du traitement (les calculs de taille élevée ont été plus souvent traités par le traitement A) et sur le résultat du traitement (les calculs de taille élevée sont plus difficiles à soigner). Cette variable est appelée facteur de confusion ;
2. Les tailles des groupes qui sont combinés quand la variable supplémentaire est ignorée sont très différentes.

Le paradoxe de Simpson peut aussi amener à des fausses conclusions sur l'efficacité d'un vaccin. Par exemple, les vaccins contre le Covid-19, efficaces contre les formes graves de la maladie bien qu'imparfaitement, ont été administrés en priorité (à vérifier) à des personnes à risque (donc particulièrement susceptibles de développer une forme grave de la maladie), alors que les populations jeunes (peu susceptibles de développer une forme grave de la maladie) restent souvent en grande partie non-vaccinées. En conséquence, la grande proportion de vaccinés parmi les personnes hospitalisées et décédées peut donner l'impression que les vaccins n'ont pas ou très peu d'efficacité contre les formes graves de la maladie, même en tenant compte de la grande proportion de vaccinés parmi la population générale (autrement dit sans commettre l'erreur de l'oubli de la fréquence de base). Mais cette impression est biaisée car il faut tenir compte des caractéristiques démographiques de la population vaccinée, et dans cet exemple les personnes à risque sont surreprésentées. Dans ce cas, une analyse par tranches d'âge permet de constater l'efficacité réelle des vaccins.[3]^,[4]

On peut se convaincre de l'importance de l'effet Simpson avec un exemple poussé à l'extrême: une maladie affecte (ou tue) uniquement des personnes de plus de 60 ans et seules celles-ci sont vaccinées avec un vaccin imparfait. Dans ce cas, tous les décès enregistrés concernent des personnes ayant été vaccinées.

• Analyse multivariée
• Des résultats paradoxaux assez similaires :
  • Le phénomène de Rogers
  • les dés non transitifs
  • le paradoxe de Parrondo
• Effet de structure
• Erreur écologique

• (en) E. H. Simpson, « The Interpretation of Interaction in Contingency Tables », Journal of the Royal Statistical Society, b, vol. 13,‎ 1951, p. 238-241 (lire en ligne)
• N. Gauvrit, Statistiques, Méfiez-vous !, Paris, Ellipses, 2007
• Jean-Paul Delahaye, Au pays des paradoxes, Belin [détail des éditions] (ISBN 978-2-84245090-8), « Le paradoxe de Simpson », p. 115-118
• (en) Bigelow, John, « Simpson’s Paradox », dans The Stanford Encyclopedia of Philosophy, 2 février 2004 (lire en ligne)

• Portail des probabilités et de la statistique