Oubli de la fréquence de base

Diagramme de Venn illustrant l'oubli de la fréquence de base. La disproportion entre la taille de la population délinquante, la population déclenchant l'alerte et la population générale augmente considérablement le risque d'erreur.

Soit une ville d'un million individus présents sur son territoire. Sur ce million (1 000 000) d'individus, 100 sont des délinquants présumés et répertoriés comme tels sur une liste, les 999 900 autres étant présumés non-délinquants.

Afin de détecter la présence d'un délinquant sur son territoire, la ville installe des caméras de vidéosurveillance avec un dispositif de reconnaissance faciale automatique : celui-ci doit déclencher une alerte dès lors que le visage filmé est celui d'un des 100 délinquants de la liste.

Malheureusement, le dispositif de reconnaissance faciale n'est pas parfait. Supposons qu'il ait un « taux d'erreur de 1 % », ou, plus précisément, que :

• sa sensibilité soit de 99 %, soit un taux de 1 % de faux négatifs parmi les vrais délinquants ;
• sa spécificité soit de 99 %, soit un taux de 1 % de faux positifs parmi les non-délinquants.

Lorsqu'une alerte se déclenche, quelle est la probabilité que l'on soit en présence d'un délinquant répertorié sur la liste ?

Si l'on raisonne avec « oubli de la fréquence de base », c'est-à-dire en ne retenant que le « taux d'erreur est de 1 % », on répond un peu rapidement qu'il y a 99 % de probabilité que l'individu soit effectivement un délinquant lorsqu'une alerte est déclenchée.

Ce qui est erroné.

En effet, lorsqu'on comptabilise l'ensemble des alertes, deux situations se présentent :

• 99 % des délinquants déclenchent l'alerte, soit 99 délinquants sur les 100 de la liste
• 1 % des non-délinquants déclenchent l'alerte, soit 9 999 non-délinquants sur 999 900.
• Soit un total de 99 + 9999 = 10 098 alertes.

Lorsqu'une alerte se déclenche, la probabilité que l'individu soit effectivement un délinquant est donc de 99 sur 10 098, soit 0,98 % et non de 99 %.

Cette probabilité peut être retrouvée par le théorème de Bayes.

Soit une population vaccinée à 95 % contre un virus. Le vaccin, bien qu'imparfaitement efficace, est supposé très efficace contre toute forme symptomatique de la maladie. Durant la pandémie, on enregistre le nombre de non-vaccinés et de vaccinés parmi les malades testés positifs, pour déterminer l'impact de la vaccination sur la réponse immunitaire obtenue contre la maladie.

Intuitivement, un nombre élevé de vaccinés parmi les malades pourrait laisser penser que le vaccin est en fin de compte très peu efficace contre la maladie. Mais cette intuition est biaisée : on ne peut pas comparer des nombres de cas sur des populations de tailles différentes ; s'il y a beaucoup de vaccinés parmi les malades c'est simplement dû au fait que la population de base des vaccinés est très grande.

Dans l'hypothèse d'un vaccin efficace à 95 % contre la maladie et d'une couverture vaccinale de 96 % de la population :

• parmi les vaccinés (96 % de la population), 5 % (du fait des 95 % d'efficacité du vaccin) risquent de contracter une forme de la maladie contre laquelle ils n'auront aucune réponse immunitaire apprise, soit 4,8 % de la population totale ;
• parmi les non-vaccinés (4 % de la population), 100 % risquent de contracter une forme de la maladie contre laquelle ils n'auront aucune réponse immunitaire apprise, soit 4 % de la population.

Avec un vaccin efficace à 95 % et une couverture vaccinale de 96 %, il y a une probabilité que le nombre de vaccinés malades soit plus élevé que le nombre de non-vaccinés malades[1]^,[2]^,[3].