Matrice de confusion
En apprentissage automatique supervisé, la matrice de confusion est une matrice qui mesure la qualité d'un système de classification. Chaque ligne correspond à une classe réelle, chaque colonne correspond à une classe estimée. La cellule ligne L, colonne C contient le nombre d'éléments de la classe réelle L qui ont été estimés comme appartenant à la classe C[1]. Attention il y a parfois interversion des axes de la matrice en fonction des auteurs.
Un des intérêts de la matrice de confusion est qu'elle montre rapidement si un système de classification parvient à classifier correctement.
Exemple
On souhaite mesurer la qualité d'un système automatique de classification de courriers électroniques. Les courriers sont classifiés selon deux classes : courriel pertinent ou pourriel intempestif. Supposons que notre classificateur soit testé avec un jeu de 200 mails, dont 100 sont des courriels pertinents et les 100 autres relèvent de pourriels.
Pour cela, on veut savoir :
- combien de courriels seront faussement estimés comme des pourriels (fausses alarmes) par le classificateur et
- combien de pourriels ne seront pas estimés comme tels (non détections) et classifiés à tort comme courriels par le classificateur.
La matrice de confusion suivante se lit alors comme suit :
- horizontalement, sur les 100 courriels initiaux (ie : 95+5), 95 ont été estimés par le classificateur comme tels et 5 ont été estimés comme pourriels (ie : 5 faux-négatifs),
- horizontalement, sur les 100 pourriels initiaux (ie : 3+97), 3 ont été estimés par le classificateur comme courriels (ie : 3 faux-positifs) et 97 ont été estimés comme pourriels,
- verticalement, sur les 98 mails (ie : 95+3) estimés par le classificateur comme courriels, 3 sont en fait des pourriels,
- verticalement, sur les 102 mails (ie : 5+97) estimés par le classificateur comme pourriels, 5 sont en fait des courriels.
- diagonalement (du haut gauche, au bas droit), sur les 200 courriels initiaux, 192 (95 + 97) ont été estimés correctement par le classificateur.
| Classe estimée - (par le classificateur) | |||
| courriel | pourriel | ||
|---|---|---|---|
| Classe réelle - (selon le destinataire humain des mails) |
courriel | 95 (vrais positifs) |
5 (faux négatifs) |
| pourriel | 3 (faux positifs) |
97 (vrais négatifs) | |
Cette notion s'étend à un nombre quelconque de classes. On peut normaliser cette matrice pour en simplifier la lecture : dans ce cas, un classificateur sera d'autant meilleur que sa matrice de confusion s'approchera d'une matrice diagonale.
Pour aller plus loin :
- la 2e ligne horizontale des pourriels nous donne une indication sur la capacité à détecter automatiquement les pourriels (ie : 97% de succès).
- la 2e ligne verticale des pourriels nous donne une indication sur à quel point les prédictions (détection de pourriels) sont fiables (ie : 5% d'erreurs sur les courriels et 3% d'erreurs sur les pourriels soit 4% d'erreur de classification d'un mail en moyenne par le classificateur).
Notes et références
- « Confusion Matrix », sur www2.cs.uregina.ca (consulté le )
Articles connexes
Portail des probabilités et de la statistique