sábado, 29 de junio de 2019

'Science' se niega a publicar replicación fallida de estudio que habían publicado



Desde hace unos años, la psicología atraviesa una crisis de replicación, que consiste en que intentos recientes por reproducir muchos de los que eran considerados grandes hallazgos en psicología, han fracasado épicamente, por muchos motivos (algunos de los cuales mencionamos brevemente en otra ocasión)

Hasta ahora, uno de esos grandes hallazgos en psicología era un paper que fue publicado por Science en 2008, en el que sus autores reportaban diferencias fisiológicas entre liberales y conservadores — lo que más o menos vendría a significar que la ideología política tendría bases biológicas. Una idea extraordinaria como la copa de un pino, que es repetida frecuentemente en los medios de comunicación —al fin y al cabo, ¡fue publicada en Science!— y podría tener muchas implicaciones sociales y políticas.

Pues inspirados por ese estudio, un grupo de cuatro investigadores —Kevin Arceneaux, Bert Bakker, Claire Gothreau y Gus Shumacher— recaudó fondos para crear un laboratorio con costosos instrumentos que les permitieran medir reacciones fisiológicas y replicar el estudio original.

Para su sorpresa, los resultados no pudieron ser replicados —algo relativamente común en el quehacer científico—, pero el verdadero shock vino después, cuando Science se negó a publicar sus hallazgos, y tampoco retiró el artículo original. En palabras del equipo de investigadores:

Los investigadores detrás del artículo en Science habían mostrado una serie de imágenes a 46 participantes en Nebraska y usaron equipo para registrar cuánto sudaban las palmas de los participantes como respuesta. Las imágenes incluían cosas aterradoras, como una araña en la cara de una persona. Realizamos dos réplicas "conceptuales" (una en Países Bajos y otra en Estados Unidos) que utilizaron imágenes diferentes para llegar a la misma idea de "amenaza" — por ejemplo, un arma apuntando a la pantalla. Nuestra intención en estos primeros estudios era intentar lo mismo para calibrar nuestros nuevos instrumentos. Pero ninguno de los dos equipos logró encontrar por su parte que las reacciones fisiológicas de la gente frente a estas imágenes se correlacionaran con sus actitudes políticas.

Nuestro primer razonamiento fue que estábamos haciendo algo mal. Así que le pedimos las imágenes que habían utilizado a los investigadores originales, quienes nos las proporcionaron muy generosamente, y añadimos algunas más. Dimos el paso de "pre-registrar" una réplica más directa del estudio de Science, lo que significa que detallamos exactamente lo que íbamos a hacer antes de hacerlo y lo hicimos público. La replicación directa tuvo lugar en Filadelfia, donde reclutamos 202 participantes (más de cuatro veces el tamaño de la muestra original de 46 utilizada en el estudio de Science). Una vez más, no encontramos correlación entre las reacciones fisiológicas a las imágenes amenazantes (las originales o las que añadimos) y el conservadurismo político, sin importar cómo miráramos los datos.

En este punto, nos habíamos vuelto más escépticos de la lógica que animaba el estudio original. Los neurocientíficos a menudo pueden encontrar una coincidencia entre las respuestas fisiológicas y las actitudes auto-reportadas. La pregunta es si esta relación es realmente tan significativa como a veces pensamos que es. El cerebro es un órgano complejo con sistemas conscientes e inconscientes paralelos que no siempre se afectan mutuamente. Seguimos creyendo que vale la pena explorar cómo las reacciones fisiológicas y la experiencia consciente moldean las actitudes y el comportamiento político, pero después de una mayor consideración, hemos llegado a la conclusión de que cualquier relación de este tipo es más complicada de lo que nosotros (y los investigadores del artículo de Science) suponíamos.

Redactamos un artículo que informaba de los estudios de replicación fallidos junto con una discusión más matizada sobre las maneras en que la fisiología podría ser importante para la política y lo enviamos a Science. No esperábamos que Science publicara inmediatamente el artículo, pero debido a que nuestros hallazgos ponían en duda un estudio influyente publicado en sus páginas, pensamos que el equipo editorial al menos lo enviaría a revisión por pares.

No lo hizo. Aproximadamente una semana después, recibimos un rechazo sumario con la explicación de que el comité asesor de académicos y el equipo editorial de Science consideraban que desde la publicación de este artículo el campo académico ha cambiado de dirección y que, aunque concluyeron que habíamos ofrecido una réplica concluyente del estudio original, sería más adecuado para una revista de subcampo menos visible.

Respondimos pidiéndoles que al menos consideraran enviar nuestro trabajo para que lo revisaran. (Todavía podrían rechazarlo si los revisores encontraran fallas fatales en nuestras réplicas).
Argumentamos que el artículo original sigue siendo muy influyente y a menudo aparece en artículos de divulgación científica en los medios de comunicación no profesionales (por ejemplo, aquí, aquí, aquí, y aquí), donde la investigación se traduce en una afirmación de que la fisiología permite predecir a los liberales y a los conservadores con un alto grado de precisión. Creemos que Science tiene la responsabilidad de aclarar las cosas de la misma manera que lo hace un periódico cuando publica algo que no resiste el escrutinio. Fuimos rechazados sin una razón y con una vaga sugerencia de que la política de la revista sobre el manejo de las réplicas podría cambiar en algún momento en el futuro.

Creemos que es una mala política que revistas como Science publiquen ideas atrevidas y ambiciosas y luego dejen que sean las revistas de subcampo quienes publiquen las réplicas que demuestran que esas ideas no son tan acertadas después de todo. Las revistas de subcampo son menos visibles, lo que significa que el mensaje a menudo no llega al público en general. También son menos acreditadas, lo que significa que la replicación fallida tendrá menos impacto en la disciplina académica si no es publicada por Science.

La actitud de Science deja bastante que desear pues buena parte de su prestigio proviene de su rigurosidad — y si sus páginas contienen un estudio que es citado frecuentemente por científicos y medios de comunicación alrededor del mundo, y ha sido refutado, lo menos que la revista podría hacer sería retirarlo, aunque en franca lid, lo propio sería publicar la refutación.

La cereza del pastel es que este mismo mes un tercer grupo de investigadores también trató de replicar independientemente los resultados del estudio original, y tampoco pudieron.

A estas alturas no es descabellado afirmar que la evidencia para las bases fisiológicas de la ideología política ha sido refutada convincentemente (dos veces en menos de un mes, para más inri), pero la conducta de Science dificulta que este hecho se vuelva parte de la conversación pública.

Es una actitud anticientífica poco digna de un journal de la estatura de Science. Ojalá rectifiquen.

(vía Why Evolution Is True)

____
Publicado en De Avanzada por David Osorio

No hay comentarios.:

Publicar un comentario

Nota: sólo los miembros de este blog pueden publicar comentarios.