Crisis de replicación

La crisis de replicación (o crisis de replicabilidad o crisis de reproducibilidad) se refiere a una crisis metodológica en las ciencias causada por las dificultades encontradas por los investigadores para replicar los resultados de muchos de los experimentos científicos en investigaciones posteriores, bien por investigadores independientes o bien por los investigadores originales de estos estudios.[2] Aunque la crisis ha estado presente a lo largo del tiempo, la frase fue acuñada a inicios de la década de 2010 como parte de una mayor concienciación sobre el problema. La crisis de replicación representa un tema de investigación importante en el campo de la metaciencia.

John Ioannidis (2005), "Por qué muchos de los trabajos de investigación son falsos[1]

Considerando que la reproducibilidad de experimentos es una parte esencial del método científico, la incapacidad de replicar los estudios de otros investigadores tiene consecuencias potencialmente graves para muchos campos de la ciencia, lo que puede suponer el desmoronamiento de teorías significativas o que sean irreproducibles en su trabajo experimental.

La crisis de replicación ha sido particularmente discutida en psicología (y en particular, psicología social) y en medicina, donde se ha trabajado para reinvestigar resultados clásicos con el fin de determinar tanto la fiabilidad de los mismos, como, en caso de resultar inválidos, las razones del fracaso de la replicación.[3][4]

General

Según una encuesta realizada en 2016 a 1500 investigadores por la revista Nature, el 70% de ellos habían sido incapaces de reproducir al menos uno de los experimentos de otro científico (y el 50% no había logrado reproducir alguno de sus propios experimentos).

Estos números difieren entre disciplinas:[5]

  • Química: 90% (60%),
  • Biología: 80% (60%),
  • Física e ingeniería: 70% (50%),
  • Medicina: 70% (60%),
  • Tierra y ciencia de entorno: 60% (40%).

En 2009, el 2% de los científicos admitieron haber falsificado estudios al menos una vez y 14% admitieron saber personalmente de alguien que hubiera falsificado resultados. Estas malas prácticas han sido declaradas más frecuentemente por investigadores médicos que por otros.[6]

Medicina

Un análisis sobre 49 estudios médicos realizados entre 1990–2003 con más de 1000 citas mostró que en 45 de ellos se dice que la terapia estudiada era eficaz. Fuera de estos estudios, un 16% tenían resultados contradictorios con los subsiguientes estudios, un 16% presentó resultados aumentados sobre su efectividad y un 24% no pudo ser replicado.[7] La FDA (Food and Drug Administration) de Estados Unidos estima errores entre el 10% y el 20% de los estudios médicos entre 1977–1990.[8] En un artículo publicado en 2012, Glenn Begley, un asesor biotecnológico que trabaja en Amgen, y Lee Ellis, de la Universidad de Texas, argumentó que sólo el 11% de los preestudios de cáncer clínico podrían ser replicados.[9][10]

Un artículo de 2016 de John Ioannidis, Profesor de Medicina y de Investigación en Salud y política de la Universidad Stanford, argumentó sobre "por qué la mayor parte de la investigación clínica no es útil" ("Why Most Clinical Research Is Not Useful").[11] En el artículo, Ioannidis puso sobre la mesa algunos de los problemas y llamó a una reforma, aportando argumentos que permitieran realizar investigaciones clínicas útiles –un ejemplo era la necesidad de investigación en medicina centrada en el paciente (p. ej. en la forma del PCORI ) en vez de la práctica actual de, principalmente, prestar más atención a "las necesidades de médicos, investigadores y/o patrocinadores"–. Ioannidis es conocido por su énfasis en la ciencia en sí misma, desde su artículo publicado en 2005 "por qué la mayoría de los resultados publicados son falsos".  ("Why Most Published Research Findings Are False")[1]

Psicología

Los fracasos de replicación no son únicos a la psicología y estos se han encontrado en todos los campos de la ciencia.[12] Aun así, varios factores se han combinado para poner a la psicología en el centro de la controversia, especialmente en el área de psicología social, a pesar de que otras áreas de la psicología como la psicología clínica también han sido implicadas.

En primer lugar, prácticas de búsqueda cuestionable (QRPs) han sido identificadas como denominador común en el campo. Tales prácticas, mientras no son intencionadamente fraudulentas, implican caer en un área gris de prácticas científicas aceptables o explotan la flexibilidad en recolección de datos, análisis, e información, a menudo en un esfuerzo para obtener un resultado deseado. Ejemplos de QRPs son la inclusión selectiva de información o publicación parcial de datos (informando solo algunos de las condiciones de estudio o medidas dependientes recogidas en una publicación), parada opcional (escogiendo cuándo parar la recolección de datos, a menudo basándose en la importancia estadística de las pruebas), redondear valores p (redondeando valores abajo a .05 para sugerir importancia estadística), efecto de "cajón del archivo"(omitir la publicación de ciertos datos), post-hoc storytelling (enmarcando análisis exploratorios como análisis confirmatorios), y manipulación de los valores más extremos (sacando los valores límite o dejándolos en un conjunto de datos para causar una prueba estadística significativa).[13][14][15][16] Una encuesta de encima 2,000 psicólogos indicaron que una mayoría de encuestadas admitió a utilizar al menos un QRP. Conclusiones positivas falsas, a menudo resultando de la presión para publicar o el sesgo de confirmación propia del autor, es una amenaza inherente en el campo, requiriendo un grado seguro de escepticismo en la parte de lectores.[17]

En segundo lugar, la psicología y la psicología social en particular, se ha encontrado en el centro de varios escándalos que implican francamente investigación fraudulenta, más notablemente se ha admitido fabricación de datos por Diederik Stapel[18] así como alegatos en contra otros. Aun así, la mayoría de los académicos reconocen aquel fraude es, quizás, la contribución menor a la crisis de replicación.

Tercero, varios efectos en ciencias psicológicas han sido encontrados como difíciles de replicar, incluso antes de la crisis de replicación actual. Por ejemplo, la revista científica Judgment and Decision Making ha publicado varios estudios sobre los años que falla en proporcionar soporte para la teoría del pensamiento inconsciente. Las replicaciones aparecen particularmente difíciles cuándo las pruebas de búsqueda son pre-registradas y la investigación conducida por grupos de investigación no involucrados afectan profundamente la teoría cuestionada.

Estos tres elementos juntos ha resultado en atención renovada para la replicación apoyada por Kahneman.[19] El escrutinio de muchos efectos ha mostrado que varias creencias de núcleo son duras de replicar. Una edición especial reciente de la revista la psicología Social se centró en estudios de replicación y aseguró que las creencias fueron encontradas como difíciles de replicar.[20] Una 2012 edición especial de las Perspectivas de revista en la ciencia Psicológica también centrada en los asuntos que varían de sesgo de publicación a null-aversión que contribuye a las crisis de replicación en psicología En 2015, el primer estudio empírico abierto de la reproducibilidad en Psicología fue publicado, llamado: Proyecto de Reproducibilidad.[21] Investigadores alrededor del mundo colaboraron para replicar 100 estudios empíricos de tres revistas de Psicología. Menos de la mitad de las replicaciones fueron exitosas en reproducir resultados estadísticos significativos en la dirección esperada, aunque la mayoría de las replicaciones produjeron tendencias en la dirección deseada.[22]

Índices de replicación en psicología

Un informe por la Colaboración de Ciencia Abierta en agosto de 2015 aquello estuvo coordinado por Brian Nosek estimó la reproducibilidad de 100 estudios en ciencia psicológica de tres alto-ranking revistas de psicología.[23] En general, 36% de las replicaciones cedieron hallazgos significativos (p valor abajo .05) comparó a 97% de los estudios originales que tuvo efectos significativos. La medida de efecto mala en las replicaciones era aproximadamente a medias la magnitud de los efectos informó en los estudios originales.

El mismo papel examinó los índices de reproducibilidad y medidas de efecto por la Revista de Personalidad y Psicología Social (JPSP), La revista de Psicología Experimental: Aprendizaje, Memoria, y Cognición (LMC), Ciencia Psicológica (PSCI) y disciplina (psicología social, psicología cognitiva). Índices de replicación del estudio eran 23% para JPSP, 38% para JEP:LMC, y 38% para PSCI. Estudios en el campo de psicología cognitiva tuvo un índice de replicación más alto (50%) que estudios en el campo de psicología social (25%).

Un análisis de la historia de publicación en la parte superior 100 revistas de psicología entre 1900 y 2012 indicó que aproximadamente 1.6% de todas publicaciones de psicología eran intentos de replicación . Los artículos estuvieron considerados un intento de replicación si la replicación "de plazo" aparecida en el texto. Un subconjunto de aquellos estudios (500 estudios) era aleatoriamente seleccionado para examen más lejano y cedió un índice de replicación más bajo de 1.07% (342 de los 500 estudios [68.4%] era de hecho replicaciones). En el subconjunto de 500 estudios, el análisis indicó que 78.9% de intentos de replicación publicada eran exitosos. El índice de replicación exitosa era significativamente más alto cuándo al menos un autor del estudio original era parte del intento de replicación (91.7% relativo a 64.6%).

Un dilema social

Destacando la estructura social que desalienta replicación en psicología, Brian D. Earp y Jim Un. C. Everett enumeraron cinco puntos explicando por qué los intentos de replicación son infrecuentes:[24][25]

  1. "Las replicaciones directas e independientes de los hallazgos de otros pueden llevar mucho tiempo para el investigador que hace la replicación.
  2. Es probable que las replicaciones roben energía y recursos directamente de otros proyectos que reflejan los pensamientos originales de uno mismo.
  3. Son generalmente más duras de publicar (en gran parte porque están vistas como sin originalidad).
  4. Incluso si son publicadas, es probable que sean vistas como ejercicios de 'albañilería', más que contribuciones importantes en el campo; y por tanto;
  5. Dan menos reconocimiento y recompensa, e incluso seguridad básica de carrera, a sus autores"[26]

Por estas razones los autores defienden que la psicología está frente a un dilema social disciplinario, donde los intereses de la disciplina se contraponen con el interés del investigador individual.

Marketing

El marketing es otra disciplina con una "necesidad desesperada para replicación".[27] Además de argumentos anteriormente mencionados, el estudios de replicaciones en marketing están necesitados para examinar la aplicabilidad de teorías y modelos a través de países y culturas, el cual es especialmente importante debido a influencias posibles de globalización.[28]

Causas de la crisis

En un trabajo publicado en 2015 Glenn Begley y John Ioannidis ofrece cinco ideas fuerza cuando se resume este problemas:[29]

  • Generación de publicaciones y datos a un ritmo sin precedentes
  • Contrastando evidencia que para la mayoría de estos descubrimientos no serán persistentes en el tiempo.
  • Causas: fracaso de adherir a práctica científica buena y el desesperación por "publish or perish" publicar o perecer.
  • Esto es un fenómeno multifacetico y de múltiples partes involucradas. 
  • Ninguna parte por sí sola es responsable, y ninguna solución única bastará.

De hecho algunas predicciones de una crisis posible en el mecanismo de control de la calidad de ciencia puede ser remontado varias décadas, especialmente entre becarios en ciencia y estudios de tecnología (STS). Derek de Solla Precio @– consideró el padre de scientometrics @– pronosticó que la ciencia podría lograr esenility' a raíz de su crecimiento exponencial propio.[30] Algunos literatura de día presente parece a vindicate esto 'desbordamiento' prophesy, lamenting en decadencia en ambas atención y calidad.[31][32]

Filósofo e historiador de Ciencia Jerome R. Ravetz Pronosticó en su 1971 libro conocimiento Científico y sus problemas sociales que ciencia @– en emotivo de la poca ciencia hecha de restringió comunidades de científicos a ciencia grande o techno-ciencia @– padecería problemas de primer orden en su sistema interno de control de calidad. Ravetz Anticipó que el sistema de la ciencia moderna del incentivo podría devenir dysfunctional (el presente 'publicar o perecer' reto). Para Ravetz la calidad en ciencia está mantenida cuándo hay una comunidad de los becarios enlazaron por normas y estándares, y una disposición para estar por estos.

Historiador Philip Mirowski ofreció más recientemente una diagnosis similar en su 2011 Ciencia de libro Mart (2011).[33] Soyarte' es aquí una referencia al gigante minorista 'Walmart' y una alusión al commodification de ciencia. En el análisis de Mirowski cuándo la ciencia deviene una mercancía siendo comerciado en un mercado sus derrumbamientos de calidad. Mirowski Argumenta su caso por localizar la decadencia de ciencia a la decisión de empresas importantes para cerrar su en laboratorios de casa para outsource su trabajo a universidades, y posteriormente para mover su búsqueda fuera de universidades a incluso organización de búsqueda de contrato más barata (CRO).

La crisis del sistema de control de la calidad de la ciencia está afectando el uso de ciencia para política. Esto es la tesis de un trabajo reciente por un grupo de investigadors STS, quiénes identifican en 'la política basada ( o informada) en evidencia' es un punto de tensión presente.[34][35]

Dirigiendo la crisis de replicación

La replicación ha sido referida a como "el piedra angular de ciencia".[36][37] Intento de estudios de la replicación para evaluar si publicó los resultados reflejan hallazgos ciertos o falsos positivos. La integridad de reproducibilidad y hallazgos científicos de búsqueda son importantes cuando forman la fundación de conocimiento en qué estudios futuros está construida.

  • Una innovación reciente en científico publicando para dirigir la crisis de replicación es a través del uso de registró informes.[38][39] El formato de informe registrado requiere autores para entregar una descripción de los métodos de estudio y análisis con anterioridad a colección de datos. Una vez el método y plan de análisis es vetted a través de peer-revisión, la publicación de los hallazgos es provisionalmente guaranteed, basó encima si los autores siguen el protocolo propuesto. Un objetivo de registró los informes es a circumvent el sesgo de publicación hacia hallazgos significativos que puede dirigir a implementación de QRPs y para animar publicación de estudios con métodos rigurosos.
  • Basado en coursework en métodos experimentales en MIT y Stanford, ha sido sugerido que cursos de métodos en psicología enfatizan intentos de replicación más que estudios originales.[40][41] Tal una aproximación ayudaría el alumnado aprende metodología científica y proporcionar replicaciones independientes numerosas de hallazgos científicos significativos que probaría el replicability de hallazgos científicos. Algunos han recomendado que los estudiantes de posgrado tendrían que ser requeridos para publicar un intento de replicación de calidad alta en un tema relacionó a su doctoral búsqueda con anterioridad a graduación.
  • Para mejorar la calidad de replicaciones, medidas de muestra más grande que aquellos utilizados en el estudio original es a menudo necesitó.[42] Medidas de muestra más grande están necesitadas porque estimaciones de medidas de efecto en trabajo publicado son a menudo exagerados debido a sesgo de publicación y variabilidad de muestreo grande asociada con medidas de muestra pequeña en un estudio original.[43][44][45]
  • Repositorios en línea donde datos, protocolos, y los hallazgos pueden ser almacenados y evaluados por el público busca para mejorar la integridad y reproducibilidad de búsqueda. Los ejemplos de tales repositorios incluyen el marco de ciencia abierto, http://www.re3data.org/, y www.psychfiledrawer.org. Sitios como oferta de Marco de Ciencia Abierta placas para utilizar prácticas de ciencia abierta en un esfuerzo a incentivize científicos. Aun así, ha habido preocupación que quienes son más probablemente para proporcionar su dato y el código para análisis es los investigadores que probablemente puede el más sofisticado.[46] John Ioannidis en Stanford la universidad sugirió que "la paradoja puede surgir que el más meticulous y sofisticado y método-savvy y los investigadores prudentes pueden devenir más susceptibles a crítica y ataques de reputación por reanalyzers quiénes cazan para errores, ningún asunto cómo insignificante estos errores son".
  • La revista la ciencia Psicológica ha animado el preregistration de estudios y el informando de medidas de efecto e intervalos de confianza.[47] El editor en el jefe también notó que la redacción será pedir replicación de estudios con hallazgos sorprendentes de los exámenes que utilizan medidas de muestra pequeña antes de dejar los manuscritos para ser publicados.
  • En julio de 2016 el Netherlands la organización para Búsqueda Científica hizo 3 millones de Euros disponibles para estudios de replicación. La financiación es para la replicación basada en reanalysis de existir dato y replicación por recoger y analizando dato nuevo. La financiación es disponible en las áreas de ciencias sociales, búsqueda de salud y healthcare innovación.[48]
  • En 2013 la Laura y Fundación de Arnold del John financiaron el lanzamiento del Centro para Ciencia Abierta con un $5.25 millones de subvención y por 2017 había proporcionado un adicional $10 millones en financiar.[49] También financie el lanzamiento del Meta-Centro de Innovación de la Búsqueda en Stanford en Stanford la universidad corrida por John Ioannidis y Steven Goodman para estudiar maneras de mejorar búsqueda científica. Él financiación proporcionada también para el AllTrials la iniciativa dirigida en parte por Ben Goldacre.

Véase también

Referencias
  1. Ioannidis, John P. A. (1 de agosto de 2005). «Why Most Published Research Findings Are False». PLoS Medicine 2 (8): e124. ISSN 1549-1277. PMC 1182327. PMID 16060722. doi:10.1371/journal.pmed.0020124.
  2. Schooler, J. W. (2014). «Metascience could rescue the 'replication crisis'». Nature 515 (7525): 9. doi:10.1038/515009a.
  3. Gary Marcus (1 de mayo de 2013). «The Crisis in Social Psychology That Isn’t». The New Yorker.
  4. Jonah Lehrer (13 de diciembre de 2010). «The Truth Wears Off». The New Yorker.
  5. Baker, Monya (26 de mayo de 2016). «1,500 scientists lift the lid on reproducibility». Nature 533 (7604): 452-454. doi:10.1038/533452a.
  6. Fanelli, Daniele (29 de mayo de 2009). «How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta-Analysis of Survey Data». PLOS ONE 4 (5): e5738. PMC 2685008. PMID 19478950. doi:10.1371/journal.pone.0005738 – via PLoS Journals.
  7. Ioannidis JA (13 de julio de 2005). «COntradicted and initially stronger effects in highly cited clinical research». JAMA 294 (2): 218-228. PMID 16014596. doi:10.1001/jama.294.2.218 – via Silverchair.
  8. Glick, J. Leslie (1 de enero de 1992). «Scientific data audit—A key management tool». Accountability in Research 2 (3): 153-168. doi:10.1080/08989629208573811 – via Taylor and Francis+NEJM.
  9. Begley, C. G., and Lee M. E., 2012, Drug Development: Raise Standards for Preclinical Cancer Research, Nature, 483, 531–533.
  10. Begley, C.G., 2013, Reproducibility: Six red flags for suspect work, Nature, 497, 433–434.
  11. Ioannidis, JPA (2016). «Why Most Clinical Research Is Not Useful». PLoS Med 13 (6): e1002049. doi:10.1371/journal.pmed.1002049.
  12. «No, science’s reproducibility problem is not limited to psychology». The Washington Post. Consultado el 10 de septiembre de 2015.
  13. John, Leslie K.; Loewenstein, George; Prelec, Drazen (1 de mayo de 2012). «Measuring the Prevalence of Questionable Research Practices With Incentives for Truth Telling». Psychological Science 23 (5): 524-532. ISSN 0956-7976. PMID 22508865. doi:10.1177/0956797611430953. Archivado desde el original el 30 de diciembre de 2015.
  14. «The Nine Circles of Scientific Hell». Perspectives on Psychological Science 7 (6): 643-644. 1 de noviembre de 2012. ISSN 1745-6916. PMID 26168124. doi:10.1177/1745691612459519.
  15. «Research misconduct - The grey area of Questionable Research Practices». www.vib.be. Archivado desde el original el 7 de octubre de 2016. Consultado el 13 de noviembre de 2015.
  16. «Questionable Research Practices Revisited». Social Psychological and Personality Science 7: 1948550615612150. 19 de octubre de 2015. ISSN 1948-5506. doi:10.1177/1948550615612150.
  17. Simmons, Joseph; Nelson, Leif; Simonsohn, Uri (November 2011). «False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant». Psychological Science (Washington DC: Association for Psychological Science) 22 (11): 1359-1366. ISSN 0956-7976. PMID 22006061. doi:10.1177/0956797611417632. Consultado el 29 de enero de 2012.
  18. Shea, Christopher (13 de noviembre de 2011). «Fraud Scandal Fuels Debate Over Practices of Social Psychology».
  19. Kahneman, Daniel. «A New Etiquette for Replication».
  20. (enlace roto disponible en Internet Archive; véase el historial y la última versión).
  21. Table of Contents
  22. Open Science Collaboration (2015). «Estimating the reproducibility of Psychological Science». Science 349 (6251): aac4716. PMID 26315443. doi:10.1126/science.aac4716.
  23. «Estimating the reproducibility of psychological». Science 349 (6251): aac4716. 28 de agosto de 2015. ISSN 0036-8075. PMID 26315443. doi:10.1126/science.aac4716.
  24. see also Earp and Trafimow, 2015
  25. «A tragedy of the (academic) commons: interpreting the replication crisis in psychology as a social dilemma for early-career researchers». Frontiers in Psychology 6: 1152. 1 de enero de 2015. PMC 4527093. PMID 26300832. doi:10.3389/fpsyg.2015.01152.
  26. «Resolving the replication crisis in social psychology? A new proposal | SPSP». www.spsp.org. Consultado el 18 de noviembre de 2015.
  27. «The desperate need for replications». Journal of Consumer Research 28 (1): 149-158. 1 de junio de 2011. doi:10.1086/321953.
  28. «Effects of Subcultural Differences on Country and Product Evaluations: A Replication Study». Journal of Global Marketing 29 (3): 115-127. 22 de marzo de 2016. doi:10.1080/08911762.2015.1138012.
  29. «Reproducibility in Science: Improving the Standard for Basic and Preclinical Research». Circulation Research 116 (1): 116-126. 2015. PMID 25552691. doi:10.1161/CIRCRESAHA.114.303819.
  30. Little science big science. Columbia University Press. 1963.
  31. «Overflow in science and its implications for trust». eLife 4: e10825. 2015. PMC 4563216. PMID 26365552. doi:10.7554/eLife.10825.
  32. «Attention decay in science». Journal of Informetrics 9 (4): 734-745. 2015. doi:10.1016/j.joi.2015.07.006.
  33. Mirowski, P. (2011). Science-Mart: Privatizing American Science. Harvard University Press.
  34. Benessia, A., Funtowicz, S., Giampietro, M., Guimarães Pereira, A., Ravetz, J., Saltelli, A., Strand, R., van der Sluijs, J., 2016.
  35. Andrea Saltelli; Jerome R. Ravetz & Silvio Funtowicz (25 de junio de 2016). «A new community for science». New Scientist (3079): 52.
  36. «Most Published Research Findings Are False—But a Little Replication Goes a Long Way». PLoS Med 4 (2): e28. 27 de febrero de 2007. PMC 1808082. PMID 17326704. doi:10.1371/journal.pmed.0040028.
  37. «The Value of Direct Replication». Perspectives on Psychological Science 9 (1): 76-80. 1 de enero de 2014. ISSN 1745-6916. PMID 26173243. doi:10.1177/1745691613514755.
  38. «Registered Replication Reports - Association for Psychological Science». www.psychologicalscience.org. Consultado el 13 de noviembre de 2015.
  39. Chambers, Chris. «Psychology’s ‘registration revolution’ | Chris Chambers». the Guardian. Consultado el 13 de noviembre de 2015.
  40. «Teaching Replication». Perspectives on Psychological Science 7 (6): 600-604. 1 de noviembre de 2012. ISSN 1745-6916. PMID 26168118. doi:10.1177/1745691612460686.
  41. «Harnessing the Undiscovered Resource of Student Research Projects». Perspectives on Psychological Science 7 (6): 605-607. 1 de noviembre de 2012. ISSN 1745-6916. PMID 26168119. doi:10.1177/1745691612459057.
  42. «Is psychology suffering from a replication crisis? What does "failure to replicate" really mean?». American Psychologist 70 (6): 487-498. doi:10.1037/a0039400.
  43. «Small studies are more heterogeneous than large ones: a meta-meta-analysis». Journal of Clinical Epidemiology 68 (8): 860-869. doi:10.1016/j.jclinepi.2015.03.017.
  44. Button, Katherine S.; Ioannidis, John P. A.; Mokrysz, Claire; Nosek, Brian A.; Flint, Jonathan; Robinson, Emma S. J.; Munafò, Marcus R. (1 de mayo de 2013). «Power failure: why small sample size undermines the reliability of neuroscience». Nature Reviews Neuroscience 14 (5): 365-376. ISSN 1471-003X. doi:10.1038/nrn3475.
  45. «Consequences of prejudice against the null hypothesis.». Psychological Bulletin (en inglés estadounidense) 82 (1): 1-20. doi:10.1037/h0076157.
  46. Ioannidis, John P.A. «Anticipating consequences of sharing raw data and code and of awarding badges for sharing». Journal of Clinical Epidemiology. doi:10.1016/j.jclinepi.2015.04.015.
  47. «Replication in Psychological Science». Psychological Science 26: 0956797615616374. 9 de noviembre de 2015. ISSN 0956-7976. PMID 26553013. doi:10.1177/0956797615616374. Archivado desde el original el 14 de noviembre de 2015. Consultado el 17 de noviembre de 2015.
  48. «NWO makes 3 million available for Replication Studies pilot». NWO. Consultado el 2 de agosto de 2016.
  49. Apple, Sam (22 de enero de 2017). «The Young Billionaire Behind the War on Bad Science».

Otros recursos
Este artículo ha sido escrito por Wikipedia. El texto está disponible bajo la licencia Creative Commons - Atribución - CompartirIgual. Pueden aplicarse cláusulas adicionales a los archivos multimedia.