Crise de la reproductibilité

La crise de la reproductibilité (replication crisis ou replicability crisis ou reproducibility crisis en anglais) est la crise méthodologique dans le domaine des sciences selon laquelle de nombreux résultats publiés dans des revues scientifiques sont difficiles, voire impossibles à reproduire au cours d'études subséquentes. Initiée au milieu des années 2000, la crise prend de l'ampleur au milieu des années 2010, nourrie par la publication de plusieurs articles sur le phénomène.

La crise n'est pas propre à un domaine unique bien qu'elle semble moins toucher les sciences fondamentales et appliquées que les sciences médicales. Les facteurs qui en sont responsables semblent nombreux. Des pistes d'amélioration de la reproductibilité au sein des publications scientifiques, dont notamment l'amélioration des critères de publication, sont explorées.

Historique
Article de Ioannidis.

En 2005, John Ioannidis, professeur de médecine et chercheur à l'école de médecine de l'université Stanford, est l'un des premiers à faire état de la crise dans son article Why Most Published Research Findings Are False[1]. Il y expose, notamment, que la nature incertaine de la recherche scientifique rend souvent difficile la détermination avec précision des causes de non-reproductibilité d'une expérience et ainsi rend improbable l'atteinte éventuelle d'un taux de validité des résultats de 100 % dans la littérature publiée[1].

Étendue du phénomène
La pyramide de la complexité montre la complexité croissante des structures et, conséquemment, des disciplines qui les étudient. Plus le phénomène étudié est complexe, plus difficile est la reproductibilité d'une étude le concernant.

Le phénomène de non-reproductibilité semble être présent au sein d'un grand éventail de disciplines. Certaines, comme la physique et la chimie, sont moins affectées que d'autres[2], alors que l'exactitude de domaines comme la psychologie sociale est sévèrement touchée[3]. Il est particulièrement répandu en médecine et atteint également la biologie, la recherche biomédicale, la pharmacologie (dans le domaine des neurosciences et de la psychiatrie), la psychologie ou encore l'écologie[4].

Selon un sondage sur la reproductibilité des recherches sur le cancer, 50 % des répondants affirment avoir fait l'expérience d'au moins un épisode d'incapacité à reproduire des données publiées. Plusieurs étant incapables de déterminer la source du problème même en interrogeant les auteurs originaux[5].

Selon une étude réalisée auprès de 1 500 scientifiques et publiée par Nature en 2016, plus de 70 % des chercheurs affirment avoir été incapables de reproduire l'expérience scientifique d'un autre chercheur et plus de la moitié affirment avoir échoué à reproduire leur propre expérience. Selon les disciplines, les pourcentages se répartissent ainsi :

Discipline % d'échec d'expériences de collègues % d'échec de sa propre expérience
Chimie9060
Biologie8060
Physique et ingénierie7050
Médecine7060
Géologie et environnement6040

Des analyses portant sur les taux de succès de reproduction dans les domaines de la psychologie et de l'oncologie étaient respectivement 40 %[6] et 10 %[7].

En avril 2022, une étude publiée par des chercheurs de l'université Cambridge et utilisant le robot scientifique Eve (en) constate que moins d'un tiers d'un échantillon de 74 articles, sélectionnés parmi 12 000 dans le domaine du cancer du sein, sont reproductibles[8]. L'étude affirme que l'utilisation d'outils automatiques et semi-automatiques peut aider à mieux quantifier le problème.

Médecine

Le domaine médical est l'un des domaines les plus touchés par la crise de reproductibilité. La problématique provient entre autres de la forte variabilité dans les systèmes biologiques, de la nature complexe de la médication et des pathologies (particulièrement les cancers)[9] ainsi que des limitations propres aux outils et modèles utilisés durant les tests pré-cliniques[7].

L'augmentation significative du nombre de recherches biomédicales fait en sorte que plusieurs traitements atteignent très rapidement l'étape de développement clinique avant même d'avoir terminé toutes les évaluations de la phase pré-clinique requises normalement[9],[7]. Ainsi, au cours des dernières années, le monde médical aurait été envahi par de nombreuses publications pré-cliniques non reproductibles et des centaines de publications secondaires seraient affectées[7][source insuffisante].

D'après Ioannidis (2005), sur 49 études médicales publiées de 1990 à 2003, 45 affirment que les thérapies étudiées sont efficaces, alors que 16 % de ces études ont été contredites par des travaux, 16 % ont surévalué l'efficacité des traitements et 24 % n'étaient pas reproductibles[10]. La Food and Drug Administration a trouvé de son côté des lacunes dans près de 10 à 20 % d'études médicales publiées entre 1977 et 1990[11]. En 2016, le chercheur affirme que la médecine est moins centrée sur les besoins du patient que sur les besoins des médecins, investisseurs et chercheurs[12].

Dans un article publié en 2012, des chercheurs ont déterminé que 11 % des études pré-cliniques sur le cancer sont reproductibles[7],[13].

Selon le psychologue clinicien Thomas Rabeyron cette crise pose question quant à la fiabilité de nombreux travaux menés en psychiatrie, ainsi une méta-analyse de Turner et al. en 2008, s'appuyant sur les évaluations de la Food and Drug Administration portant sur 12 antidépresseurs et impliquant 12 564 patients[14] montre que selon les études portant sur leur efficacité menées entre 1987 et 2004, 38 la confirmaient tandis que 36 en révélaient l'absence, mais certains antidépresseurs étaient pourtant toujours donnés comme efficaces et présents sur le marché[15],[16].

Psychologie

Bien que les problèmes de reproductibilité soient présents dans plusieurs domaines, ils sont souvent associés à la psychologie[17],[18]. En effet, plusieurs facteurs ont fait de la psychologie le centre de la controverse, notamment la psychologie sociale.

Les résultats du Reproductibility project (en) démontrent que seulement 36 % des études testées avaient des résultats significatifs par rapport à 97 % des recherches initiales. La taille du taux d'effet de la réplication était en moyenne deux fois moins grande que celle de la recherche originale ainsi la moitié des recherches en psychologie cognitive et trois-quarts de celles en psychologie sociale n'ont pas pu être reproduites[19].

Un des problèmes du milieu de la psychologie est que, selon une analyse des recherches des 100 plus importants journaux de psychologie entre 1900 et 2012, seulement environ 1,07 % des publications sont des expériences de réplication et que seulement 78,9 % de ces expériences de réplication étaient concluantes[20].

Selon Daniel Kahneman, trois éléments remettent en question la reproductibilité en psychologie[21] :

  1. De mauvaises pratiques de recherche (en) (questionable research practices, QRP) semblent fréquentes dans le domaine. En effet, un sondage réalisé auprès de plus de 2 000 psychologues montre qu'une majorité des répondants affirme avoir au moins une fois réalisé une QRP[22]. Les faux-positifs sont fréquents. Ils résulteraient de la pression à publier ou du biais de confirmation de l'auteur[23].
  2. La psychologie s'est retrouvée au centre de cas de recherches frauduleuses très importants, comme le cas de Diederik Stapel[24], qui a fortement nui à l'image de la psychologie sociale. Cependant, cet aspect contribuerait peu à l'absence de reproductibilité[réf. souhaitée].
  3. En dernier lieu, des problèmes de réplications dans le domaine avaient été découverts bien avant le début de la crise. En effet, des journaux scientifiques comme le Judgment and Decision Making (en) ont publié plusieurs études au fil des ans sur des tentatives de reproduction non fructueuses. Les reproductions sont d'ailleurs particulièrement difficiles lorsqu'elles sont menées par des groupes n'ayant pas un fort lien avec le sujet.

James Coyne, un psychologue et professeur en psychologie, a récemment écrit que beaucoup de recherches et de méta-analyses sont compromises par leur piètre qualité et les conflits d'intérêts entre les auteurs et les groupes de défenses d'intérêts, ce qui résulterait en beaucoup de faux positifs quant à l'efficacité de certains types de psychothérapie[25].

Le professeur émérite Daniel Kahneman affirme que les auteurs originaux devraient être présents lors du processus de reproduction pour combler les lacunes au niveau de la description de la méthode expérimentale[26]. En effet, la présence de l'auteur original peut modifier la reproductibilité des résultats. En effet, une étude de 2012 indique que 91,7 % des essais de réplication avec les conseils de l'auteur original ont réussi, contrairement à 64,6 % pour celles réalisées sans sa présence[20].

Selon une étude d'Andy[27] et une autre de Martin et Clarke[28] une toute petite proportion des journaux académiques en psychologie et en neurosciences demandaient explicitement la reproduction des recherches.

Selon la psychologue clinicienne Anne Brun, cette crise met également en évidence des faiblesses méthodologiques dans le domaine de l'évaluation des psychothérapies, telles que Bruce Wampold (en) en avait fait état dans une étude de 1997[29],[30].

Selon Thomas Rabeyron, s'appuyant sur le travail du psychothérapeute et thérapeute de groupe, Farhad Dalal[31], la crise de la reproductibilité touche également la thérapie cognitivo-comportementale (TCC) qui proclame une efficacité supérieure aux autres thérapies à partir d'un système d'évaluation copiant celui de la médecine alors même que beaucoup d'études établissent que les TCC ont un taux de rechute élevée et que leur efficacité a plutôt tendance à diminuer, ce qui rejoint le problème des essais randomisés en double aveugle, sachant qu'« on ne peut délivrer un placebo de psychothérapie », ainsi que celui des effets d'allégeance (la foi du chercheur dans les résultats de son modèle)[32], la recherche sur les TCC ne peut dès lors être du même ordre que celle qu'on trouve dans les sciences naturelles[16].

Causes
Les rayons N sont un cas classique de biais de confirmation.

Ionnidis et Begley identifient en 2015 de nombreuses causes à ce problème[9].

Un problème bien connu en sciences est le biais de confirmation. Plusieurs recherches non-reproductibles pourraient s'expliquer par une mauvaise gestion de ce phénomène[33].

Le mécanisme même de la publication de la recherche scientifique est également pointé du doigt. En effet, peu de revues s'intéressent à la publication de reproductions d'expériences précédentes. Elles priorisent plutôt les publications présentant des découvertes, ce qui fait en sorte que les expériences de reproduction sont considérées comme un gaspillage de ressources[35]. De plus, le lien direct entre l'avancée de la carrière d'un chercheur et le nombre de ses publications dans des revues renommées entraîne une certaine pression à publier, exprimée par l'expression publier ou périr (publish or perish). Ce phénomène pousserait les scientifiques, consciemment ou non, à modifier ou à interpréter ses résultats pour qu'ils soient publiés. Cette incitation à la publication de nouveaux articles vient du fait que les chercheurs doivent se faire une notoriété par la publication pour pouvoir recevoir des fonds de recherche[36]. Ainsi, lorsqu'un article n'est pas à la hauteur, il est possible de modifier les résultats pour qu'il le soit. Aussi, le fait que les chercheurs doivent publier plus rapidement pour ne pas sombrer dans l'oubli, crée une augmentation de la quantité de recherche publiée, mais la qualité de ces articles n'est pas toujours bonne vu le fait que les scientifiques ne peuvent pousser autant leurs recherches par manque de temps[36].

Fraudes

La fraude scientifique ne serait pas une cause importante de la crise de la reproductibilité. Ainsi, bien que certains cas fortement médiatisés laissent croire une certaine étendue du phénomène[37],[38],[39], ces derniers sont relativement rares, ce qui fait en sorte qu'ils ne représentent qu'une mince partie des mauvaises publications.

Une méta-analyse portant sur l'inconduite de plusieurs scientifiques indique qu'en moyenne 2 % des scientifiques ont admis avoir fabriqué, falsifié ou modifié des résultats d'analyse au moins une fois. Entre 5,2 et 33,3 % des répondants ont affirmé avoir eu connaissance de collègues ayant fabriqué ou falsifié des résultats de recherche[39].

Selon la banque de données de PubMed, 0,02 % des publications sont retirées pour des raisons de mauvaise conduite[40].

Aux États-Unis, d'après les cas confirmés par le gouvernement américain, des éléments de fraude sont documentés dans les travaux de 1 scientifique sur 100 000. 8 parmi 800 publications présentées à The Journal of Cell Biology (en) comportent des images qui ont été manipulées de manière incorrecte[41].

Pistes de solutions

Plusieurs pistes sont explorées pour diminuer le nombre d'études non-reproductibles au sein des publications scientifiques.

En juillet 2016, le gouvernement des Pays-Bas annonce l'investissement de 3 millions d'euros afin d'augmenter le nombre d'expériences de reproduction dans les domaines des sciences sociales et de la médecine[42].

Notes et références
  1. (en) John P. A. Ioannidis, « Why Most Published Research Findings Are False », PLOS Medicine, vol. 2, no 8,‎ , article no e124 (ISSN 1549-1277, PMID 16060722, PMCID 1182327, DOI 10.1371/journal.pmed.0020124, lire en ligne).
  2. (en) Monya Baker, « 1,500 scientists lift the lid on reproducibility », Nature, vol. 533, no 7604,‎ , p. 452–454 (PMID 27225100, DOI 10.1038/533452a, lire en ligne).
  3. (en) Gary Marcus, « The Crisis in Social Psychology That Isn't », The New Yorker, .
  4. (en) Jonah Lehrer, « The Truth Wears Off », The New Yorker, .
  5. (en) Aaron Mobley, Suzanne K. Linder, Russell Braeuer, Lee M. Ellis et Leonard Zwelling, « A Survey on Data Reproducibility in Cancer Research Provides Insights into Our Limited Ability to Translate Findings from the Laboratory to the Clinic », PLOS One, vol. 8, no 5,‎ , article no e63221 (PMID 23691000, PMCID PMC3655010, DOI 10.1371/journal.pone.0063221, lire en ligne).
  6. (en) Monya Baker, « Over half of psychology studies fail reproducibility test », Nature,‎ (DOI 10.1038/nature.2015.18248, lire en ligne).
  7. (en) C. Glenn Begley et Lee M. Ellis, « Drug development: Raise standards for preclinical cancer research », Nature, vol. 483, no 7391,‎ , p. 531–533 (PMID 22460880, DOI 10.1038/483531a, lire en ligne).
  8. (en)https://techxplore.com/news/2022-04-robot-scientist-eve-one-third-scientific.html
  9. (en) C. Glenn Begley et John P. A. Ioannidis, « Reproducibility in Science: Improving the Standard for Basic and Preclinical Research », Circulation Research, vol. 116, no 1,‎ , p. 116–126 (PMID 25552691, DOI 10.1161/CIRCRESAHA.114.303819, lire en ligne).
  10. (en) John P. A. Ioannidis, « Contradicted and initially stronger effects in highly cited clinical research », Journal of the American Medical Association, vol. 294, no 2,‎ , p. 218–228 (PMID 16014596, DOI 10.1001/jama.294.2.218, lire en ligne).
  11. (en) J. Leslie Glick, « Scientific data audit—A key management tool », Accountability in Research, vol. 2, no 3,‎ , p. 153–168 (DOI 10.1080/08989629208573811, lire en ligne).
  12. (en) John P. A. Ioannidis, « Why Most Clinical Research Is Not Useful », PLOS Medicine, vol. 13, no 6,‎ , article no e1002049 (PMID 27328301, PMCID PMC4915619, DOI 10.1371/journal.pmed.1002049, lire en ligne).
  13. (en) C. Glenn Begley, « Reproducibility : Six red flags for suspect work », Nature, vol. 497, no 7450,‎ , p. 433–434 (PMID 23698428, DOI 10.1038/497433a, lire en ligne).
  14. Erick H. Turner, Annette M. Matthews, Eftihia Linardatos et Robert A. Tell, « Selective publication of antidepressant trials and its influence on apparent efficacy », The New England Journal of Medicine, vol. 358, no 3,‎ , p. 252–260 (PMID 18199864, DOI 10.1056/NEJMsa065779, lire en ligne).
  15. (en) Ben Goldacre, Bad Pharma (en) : How Drug Companies Mislead Doctors and Harm Patients, Londres, Fourth Estate, (ISBN 978-0-00-735074-2).
  16. Thomas Rabeyron, « Du néolibéralisme au Tsunami Cognitivo-Comportemental en Grande-Bretagne : est-il encore temps pour la France d’éviter la catastrophe britannique ? », Research in Psychoanalysis, no 28,‎ , p. 130 (DOI 10.3917/rep1.028.0112, lire en ligne).
  17. (en) Joel Achenbach, « No, science's reproducibility problem is not limited to psychology », The Washington Post, (consulté le ).
  18. (en) Tom Bartlett, « Power of Suggestion », The Chronicle Review, .
  19. (en) Open Science Collaboration, « Estimating the reproducibility of psychological science », Science, vol. 349, no 6251,‎ , article no aac4716 (PMID 26315443, DOI 10.1126/science.aac4716, lire en ligne).
  20. (en) Matthew C. Makel, Jonathan A. Plucker et Boyd Hegarty, « Replications in Psychology Research How Often Do They Really Occur? », Perspectives on Psychological Science, vol. 7, no 6,‎ , p. 537–542 (PMID 26168110, DOI 10.1177/1745691612460688, lire en ligne).
  21. (en) Daniel Kahneman, « A New Etiquette for Replication », sur Scribd.
  22. (en) Leslie K. John, George Loewenstein et Drazen Prelec, « Measuring the Prevalence of Questionable Research Practices With Incentives for Truth Telling », Psychological Science, vol. 23, no 5,‎ , p. 524–532 (PMID 22508865, DOI 10.1177/0956797611430953, lire en ligne).
  23. (en) Joseph P. Simmons, Leif D. Nelson et Uri Simonsohn, « False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant », Psychological Science, vol. 22, no 11,‎ , p. 1359–1366 (PMID 22006061, DOI 10.1177/0956797611417632, lire en ligne).
  24. (en) Christopher Shea, « Fraud Scandal Fuels Debate Over Practices of Social Psychology », The Chronicle of Higher Education, .
  25. (en) James C. Coyne, « Are meta analyses conducted by professional organizations more trustworthy? », Mind the Brain, (consulté le ).
  26. (en) Chris Chambers, « Physics envy: Do ‘hard' sciences hold the solution to the replication crisis in psychology? », The Guardian, .
  27. (en) Andy W. K. Yeung, « Do Neuroscience Journals Accept Replications? A Survey of Literature », Frontiers in Human Neuroscience, vol. 11,‎ , article no 468 (PMID 28979201, PMCID 5611708, DOI 10.3389/fnhum.2017.00468, lire en ligne).
  28. (en) G. N. Martin et Richard M. Clarke, « Are Psychology Journals Anti-replication? A Snapshot of Editorial Practices », Frontiers in Psychology, vol. 8,‎ , article no 523 (PMID 28443044, PMCID 5387793, DOI 10.3389/fpsyg.2017.00523, lire en ligne).
  29. (en) Bruce Wampold, « Methodological Problems in Identifying Efficacious Psychotherapies », Psychotherapy Research, vol. 7, no 1,‎ , p. 21–43 (DOI 10.1080/10503309712331331853, lire en ligne).
  30. Anne Brun, chap. 1 « Histoire et épistémologie de l’évaluation des psychothérapies », dans Anne Brun (dir.), René Roussillon (dir.), Patricia Attigui (dir.), Évaluation clinique des psychothérapies psychanalytiques, Paris, Dunod, (ISBN 978-2-10-072068-2, lire en ligne), p. 30.
  31. (en) Farhad Dalal, CBT : the cognitive behavioural tsunami : politics, power and the corruptions of science, Londres, Routledge, (ISBN 978-0-429-85585-6).
  32. (en) Lester Luborsky, Louis Diguer, David A. Seligman, Robert Rosenthal, Elizabeth D. Krause, Suzanne Johnson, Gregory Halperin, Monica Bishop, Jeffrey S. Berman et Edward Schweizer, « The Researcher's Own Therapy Allegiances : A “Wild Card” in Comparisons of Treatment Efficacy », Clinical Psychology: Science and Practice, vol. 6, no 1,‎ , p. 95–106 (DOI 10.1093/clipsy.6.1.95, lire en ligne).
  33. (en) Regina Nuzzo, « How scientists fool themselves-and how they can stop », Nature, vol. 526, no 7572,‎ , p. 182–185 (PMID 26450039, DOI 10.1038/526182a, lire en ligne).
  34. (en) [vidéo] Brian Cox visits the world's biggest vacuum chamber - Human Universe: Episode 4 Preview - BBC Two sur YouTube.
  35. (en) Jim Albert Charlton Everett et Brian D. Earp, « A tragedy of the (academic) commons: interpreting the replication crisis in psychology as a social dilemma for early-career researchers », Frontiers in Psychology, vol. 6,‎ , article no 1152 (PMID 26300832, PMCID 4527093, DOI 10.3389/fpsyg.2015.01152, lire en ligne).
  36. (en) Seema Rawat et Sanjay Meena, « Publish or perish: Where are we heading? », Journal of Research in Medical Sciences, vol. 19, no 2,‎ , p. 87–89 (PMID 24778659, PMCID PMC3999612).
  37. Pascal Lapointe, « Le Watergate du clonage », Agence Science-Presse, .
  38. (en) « DFG Imposes Sanctions Against Jan Hendrik Schön » [PDF], Deutsche Forschungsgemeinschaft, .
  39. (en) Daniele Fanelli, « How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta-Analysis of Survey Data », PLOS One, vol. 4, no 5,‎ , article no e5738 (PMID 19478950, PMCID 2685008, DOI 10.1371/journal.pone.0005738, lire en ligne).
  40. (en) Larry D. Claxton, « Scientific authorship : Part 1. A window into scientific fraud? », Mutation Research, vol. 589, no 1,‎ , p. 17–30 (PMID 15652224, DOI 10.1016/j.mrrev.2004.07.003, lire en ligne).
  41. (en) Nicholas H. Steneck, « Fostering integrity in research : Definitions, current knowledge, and future directions », Science and Engineering Ethics, vol. 12, no 1,‎ , p. 53–74 (PMID 16501647, DOI 10.1007/PL00022268, lire en ligne).
  42. (en) « NWO makes 3 million available for Replication Studies pilot », NWO, (consulté le ).

Voir aussi

Bibliographie

Articles connexes

Liens externes
  • Portail des sciences
  • Portail de la psychologie
Cet article est issu de Wikipedia. Le texte est sous licence Creative Commons - Attribution - Partage dans les Mêmes. Des conditions supplémentaires peuvent s'appliquer aux fichiers multimédias.