Données manquantes

Il est important de comprendre les raisons pour lesquelles des données sont manquantes afin de bien utiliser l'ensemble des données. Si les valeurs sont manquantes de manière complètement aléatoire, l'échantillon de données peut encore être représentatif de la population. Néanmoins, si les valeurs manquent de manière systématique, l'analyse peut être biaisée. Par exemple, dans une étude de la relation entre le QI et le revenu, si les participants avec un QI supérieur à la moyenne ont tendance à ignorer la question « Quel est votre salaire? », l'analyse qui ne prend pas en compte cette omission volontaire (modèle MA [ voir ci-dessous]) peut faussement échouer à trouver une association positive entre le QI et le salaire. En raison de ces problèmes, les spécialistes de la méthodologie conseillent aux chercheurs de concevoir des études qui minimisent l'occurrence de valeurs manquantes. [2] Des modèles graphiques peuvent être utilisés pour décrire en détail le mécanisme de données manquantes. [3]^,[4]

Le graphique ci-dessus montre les distributions de probabilité des estimations de l'intensité attendue de la dépression dans la population. Le nombre de cas est de 60. Laissons la vraie distribution de la population suivre une loi normale standardisée et la probabilité de non-réponse être une fonction logistique. La conclusion est la suivante: plus les données sont manquantes par omission prévisible (MOP), plus les estimations sont biaisées. En fait, l'intensité de la dépression dans la population est sous-estimée.

Les données manquantes réduisent la représentativité de l'échantillon, ce qui peut fausser l'extrapolation des conclusions de l'étude sur la population. En général, il existe trois approches principales pour gérer les données manquantes:

1. Imputation : Des valeurs viennent remplacer les données manquantes du jeu de données;
2. Omission : Les échantillons qui contiennent des données non valides sont rejetées pour le reste de l'analyse; et,
3. Analyse : Utiliser des méthodes sur lesquelles les données manquantes n'ont aucune incidence sur le résultat.

Dans certaines applications pratiques, les chercheurs peuvent contrôler le niveau de données manquantes et prévenir les données manquantes avant la collecte de données. Un exemple serait l'obligation, dans un questionnaire électronique, de remplir un champ pour continuer de remplir le document. Ce type de questionnaire prévient l'inclusion de valeurs manquantes dans l'ensemble de données bien que cette méthode ne soit généralement pas autorisée par les comités d'éthique qui supervisent les recherches. Dans la recherche par sondage, il est courant de contacter de multiple façon chaque individu de l'échantillon en envoyant de manière répétée des lettres pour que ceux qui ne veulent pas participer changent d'avis. [8] ^:161–187 Cependant, ces techniques sont plus ou moins efficaces pour réduire l'effet négatif des données manquantes sur l'inférence. En effet, ces individus qui acceptent après avoir initialement refusé ou qui deviennent disponibles pour répondre au sondage risquent d'être différents des individus qui refusent de manière catégorique de participer. ^:188–198

Dans les situations où des valeurs manquantes sont susceptibles de se produire, il est souvent conseillé au chercheur d'utiliser des méthodes robustes à ce type de problème. Une analyse est robuste lorsque, de toute évidence, des violations légères à modérées des hypothèses clés de la technique produiront peu ou pas de biais ou de distorsion dans les conclusions tirées sur la population.

Les techniques basées sur des modèles, souvent à l'aide de graphiques, offrent des outils supplémentaires pour tester les types de données manquants (MCAR, MAR, MNAR) et pour estimer les paramètres dans des conditions de données manquantes. Par exemple, un test pour réfuter MAR / MCAR se lit comme suit:

Pour les trois variables X, Y et Z où Z est pleinement observé et X et Y partiellement observé, les données doivent satisfaire: ${\displaystyle X\perp \!\!\!\perp R_{y}|(R_{x},Z)}$ .

En d'autres termes, la portion observée de X devrait être indépendante du statut de manque de Y, conditionnelle à chaque valeur de Z. Le non-respect de cette condition indique que le problème appartient à la catégorie MNAR. [13]

(Remarque: ces tests sont nécessaires pour le MAR à base variable qui est une légère variation du MAR basé sur événement[14]^,[15]. )

Lorsque les données entrent dans la catégorie MNAR, des techniques sont disponibles pour estimer de manière cohérente les paramètres lorsque certaines conditions se vérifient dans le modèle[3]. Par exemple, si Y explique la raison du manque dans X et Y lui-même a des valeurs manquantes, la distribution de probabilité conjointe de X et Y peut toujours être estimée si le manque de Y est aléatoire. L'estimation dans ce cas sera:

${\displaystyle {\begin{aligned}P(X,Y)&=P(X|Y)P(Y)\\&=P(X|Y,R_{x}=0,R_{y}=0)P(Y|R_{y}=0)\end{aligned}}}$

où ${\displaystyle R_{x}=0}$ et ${\displaystyle R_{y}=0}$ désignent les parties observées de leurs variables respectives.

Différentes structures de modèle peuvent produire des estimations différentes et des procédures d'estimation différentes chaque fois qu'une estimation cohérente est possible. L'estimant précédent appelle une première estimation ${\displaystyle P(X|Y)}$ à partir de données complètes et en le multipliant par ${\displaystyle P(Y)}$ estimée à partir des cas où Y est observé quel que soit le statut de X. De plus, pour obtenir une estimation cohérente, il est essentiel que le premier terme soit ${\displaystyle P(X|Y)}$ par opposition à ${\displaystyle P(Y|X)}$ .

Dans de nombreux cas, les techniques basées sur un modèle permettent à la structure du modèle de subir des tests de réfutation. Tout modèle qui implique l'indépendance entre une variable X partiellement observée et l'indicateur de manque d'une autre variable Y (c'est-à-dire ${\displaystyle R_{y}}$ ), sur conditionnelle ${\displaystyle R_{x}}$ peut être soumis au test de réfutation suivant: ${\displaystyle X\perp \!\!\!\perp R_{y}|R_{x}=0}$ .

Enfin, les estimations qui émergent de ces techniques sont dérivées sous forme fermée et ne nécessitent pas de procédures itératives telles que la maximisation des attentes qui sont sensibles aux optima locaux[16].

Une classe spéciale de problèmes apparaît lorsque la probabilité de disparition dépend du temps. Par exemple, dans les bases de données sur les traumatismes, la probabilité de perdre des données sur l'issue du traumatisme dépend du lendemain du traumatisme. Dans ces cas, différents modèles de chaînes de Markov non stationnaires sont appliqués. [17]

• Censure (statistiques)
• Algorithme de maximisation des attentes
• Variable indicatrice
• Pondération de probabilité inverse
• Variable latente
• Achèvement de la matrice

• Acock AC (2005), "Working with missing values", Journal of Marriage and Family, 67 (4): 1012–28, doi:10.1111/j.1741-3737.2005.00191.x, archived from the original on 2013-01-05
• Allison, Paul D. (2001), Missing Data, SAGE Publishing
• Bouza-Herrera, Carlos N. (2013), Handling Missing Data in Ranked Set Sampling, Springer
• Enders, Craig K. (2010), Applied Missing Data Analysis, Guilford Press
• Graham, John W. (2012), Missing Data, Springer
• Molenberghs, Geert; Fitzmaurice, Garrett; Kenward, Michael G.; Tsiatis, Anastasios; Verbeke, Geert, eds. (2015), Handbook of Missing Data Methodology, Chapman & Hall
• Raghunathan, Trivellore (2016), Missing Data Analysis in Practice, Chapman & Hall
• Little, Roderick J. A.; Rubin, Donald B. (2002), Statistical Analysis with Missing Data (2nd ed.), Wiley
• Tsiatis, Anastasios A. (2006), Semiparametric Theory and Missing Data, Springer
• Van den Broeck J, Cunningham SA, Eeckels R, Herbst K (2005), "Data cleaning: detecting, diagnosing, and editing data abnormalities", PLOS Medicine, 2 (10): e267, doi:10.1371/journal.pmed.0020267, PMC 1198040, PMID 16138788
• (2006) « Techniques for Missing Value Recovering in Imbalanced Databases: Application in a marketing database with massive missing data » IEEE International Conference on Systems, Man and Cybernetics, 2006. SMC '06. 3: 2658–2664 p. (DOI:10.1109/ICSMC.2006.385265).