Kappa de Cohen

En statistique, la méthode du κ (kappa) mesure l’accord entre observateurs lors d'un codage qualitatif en catégories. L'article introduisant le κ a pour auteur Jacob Cohen – d'où sa désignation de κ de Cohen – et est paru dans le journal Educational and Psychological Measurement en 1960. Le κ est une mesure d'accord entre deux codeurs seulement. Pour une mesure de l'accord entre plus de deux codeurs, on utilise le κ de Fleiss (1981).

Kappa de Cohen

Nature	Test statistique
Nommé en référence à	Jacob Cohen

Définition

Le calcul du κ se fait de la manière suivante :

\kappa ={\frac {\Pr(a)-\Pr(e)}{1-\Pr(e)}},\!

où Pr(a) est la proportion de l'accord entre codeurs et Pr(e) la probabilité d'un accord aléatoire. Si les codeurs sont totalement en accord, κ = 1. S'ils sont totalement en désaccord (ou en accord dû uniquement au hasard), κ ≤ 0.

Exemple

La méthode de Kappa mesure le degré de concordance entre deux évaluateurs, par rapport au hasard.

Premier cas

Supposons que deux évaluateurs (Marc et Mathieu) soient chargés de définir dans un groupe de 50 étudiants ceux qui seront reçus ou non à l'examen final. Chacun d'eux contrôle la copie de chaque étudiant et la note comme reçu ou non reçu (OUI ou NON). Le tableau ci-dessous donne les résultats :

		Marc
		OUI	NON
Mathieu	OUI	a	b
Mathieu	NON	c	d

		Marc
		OUI	NON
Mathieu	OUI	20	5
Mathieu	NON	10	15

L'observation des accords entre évaluateurs est :

${\textstyle P_{accord}={\frac {a+d}{a+b+c+d}}={\frac {20+15}{50}}=0.7}$

Pour calculer la probabilité d'accord « au hasard », on note que :

Mathieu a noté « OUI » à 25 étudiants, soit 50 % des cas.
Marc a noté « OUI » dans 60 %, soit 30 étudiants sur 50.

Ainsi la probabilité attendue que les deux correcteurs notent « OUI » est : $P_{OUI}={\frac {a+b}{a+b+c+d}}\times {\frac {a+c}{a+b+c+d}}=0,5\times 0,6=0,3$

De même la probabilité que les deux correcteurs notent « NON » est : $P_{NON}={\frac {c+d}{a+b+c+d}}\times {\frac {b+d}{a+b+c+d}}=0,5\times 0,4=0,2$

La probabilité globale que les correcteurs soient en accord est donc : $P_{Hasard}=P_{OUI}+P_{NON}=0,3+0,2=0,5$

La formule de Kappa donnera alors : $\kappa ={\frac {P_{accord}-P_{Hasard}}{1-P_{Hasard}}}={\frac {0.7-0.5}{1-0.5}}=0.4$

Second cas

Dans une autre proportion nous aurions obtenu :

		Marc
		OUI	NON
Mathieu	OUI	25	2
Mathieu	NON	3	20

L'observation des accords entre évaluateurs est :

${\textstyle P_{accord}={\frac {a+d}{a+b+c+d}}={\frac {25+20}{50}}=0,9}$

Pour calculer la probabilité d'accord « au hasard », on note que :

Mathieu a noté « OUI » à 27 étudiants, soit 54 % des cas,
et que Marc a noté « OUI » dans 56 %.

Ainsi la probabilité attendue que les deux correcteurs notent « OUI » est : $P_{OUI}={\frac {a+b}{a+b+c+d}}\times {\frac {a+c}{a+b+c+d}}=0,54\times 0,56=0,3024$

De même la probabilité que les deux correcteurs notent « NON » est : $P_{NON}={\frac {c+d}{a+b+c+d}}\times {\frac {b+d}{a+b+c+d}}=0,46\times 0,44=0,2024$

La probabilité globale que les correcteurs soient en accord est donc : $P_{Hasard}=P_{OUI}+P_{NON}=0,3024+0,2024=0,5048$

La formule de Kappa donnera alors : $\kappa ={\frac {P_{accord}-P_{Hasard}}{1-P_{Hasard}}}={\frac {0,9-0,5048}{1-0,5048}}=0,7981$

Ordres de grandeur

Landis et Koch[1] ont proposé le tableau suivant pour interpréter le κ de Cohen. Il s'agit d'ordres de grandeurs qui ne font pas consensus dans la communauté scientifique[2], notamment parce que le nombre de catégories influe sur l'estimation obtenue : moins il y a de catégories, plus κ est élevé[3].

$\kappa$	Interprétation
< 0	Désaccord
0,00 — 0,20	Accord très faible
0,21 — 0,40	Accord faible
0,41 — 0,60	Accord modéré
0,61 — 0,80	Accord fort
0,81 — 1,00	Accord presque parfait

Notes et références

J. Richard Landis et Gary G. Koch, « The Measurement of Observer Agreement for Categorical Data », Biometrics, vol. 33, n^o 1,‎ 1977, p. 159–174 (ISSN 0006-341X, DOI 10.2307/2529310, lire en ligne, consulté le 8 décembre 2021)
Gwet, K. (2001)
Sim, J. and Wright, C. C. (2005) pp. 257--268

Liens externes

Site sur le Coefficient Kappa

Portail des probabilités et de la statistique

Cet article est issu de Wikipedia. Le texte est sous licence Creative Commons - Attribution - Partage dans les Mêmes. Des conditions supplémentaires peuvent s'appliquer aux fichiers multimédias.

[1] J. Richard Landis et Gary G. Koch, « The Measurement of Observer Agreement for Categorical Data », Biometrics, vol. 33, n^o 1,‎ 1977, p. 159–174 (ISSN 0006-341X, DOI 10.2307/2529310, lire en ligne, consulté le 8 décembre 2021)

[2] Gwet, K. (2001)

[3] Sim, J. and Wright, C. C. (2005) pp. 257--268