Los artículos científicos necesitan mejores sistemas de retroalimentación. este es el por qué

El sistema actual de revisión por pares se limita a solicitar las opiniones de dos personas; esto no es suficiente

Suscríbete a DyN Noticias

En algún lugar entre el 65 y el 90 por ciento de la literatura biomédica se considera irreductible. Esto significa que si intenta reproducir un experimento descrito en un artículo determinado, entre el 65 y el 90% de las veces no obtendrá los mismos resultados. A esto lo llamamos la crisis de reproducibilidad.

El problema cobró vida gracias a un estudio de Glenn Begley, que dirigía el departamento de oncología de Amgen, una empresa farmacéutica. En 2011, Begley decidió intentar reproducir los hallazgos en 53 artículos fundamentales en oncología: artículos muy citados publicados en las principales revistas. No pudo reproducir 47 de ellos – 89% 1.

Leer más: Los efectos secundarios graves de los medicamentos se informan masivamente en los registros médicos

Bayer, otra empresa farmacéutica, informó en el mismo año que el 65% de los hallazgos en las obras que intentó reproducir no eran reproducibles2. Se ha descubierto que la reproducibilidad es una preocupación en psicología e informática3.

¿Qué causa estos altos niveles de irreductibilidad en la literatura científica? Hay una variedad de factores en juego. A menudo es difícil, al leer un artículo, hacerse una idea de cómo se realizó el estudio, porque los métodos pueden estar mal descritos o el conjunto de datos no está disponible. Esto dificulta la reproducción. Otro factor es que los científicos que escriben artículos no tienen un incentivo lo suficientemente fuerte para garantizar que su trabajo sea reproducible. Un resultado podría ser una coincidencia y no hay suficientes incentivos, aparte de la propia integridad, para comprobar si es una coincidencia.

Un tercer factor es que al determinar qué tan bueno es un artículo, nuestro sistema actual de revisión por pares se limita a solicitar las opiniones de dos personas. Dos personas no es suficiente.

Sostengo que la forma de resolver la crisis de reproducibilidad es mediante la construcción de un nuevo sistema de revisión por pares. Esto debería hacer dos cosas: para un artículo dado, deberíamos preguntarle a cada académico que lo lee lo que piensan, y no solo a los dos revisores que leen el artículo para la revista; y el sistema de revisión por pares debe otorgar crédito a los académicos que comparten el código, los conjuntos de datos y otros materiales que no se publican en revistas.

En cuanto al primer punto, la forma en que funciona la revisión por pares hoy en día es que el editor de una revista recibe una recomendación y luego le pide a dos académicos que la revisen. A continuación, el artículo es publicado y leído por la comunidad académica en general: según el periódico, pueden leerlo 500 o 1.000 personas. ¿Qué pensaron ellos? Estos son datos perdidos que un sistema de revisión por pares debería hacerse cargo. Los académicos, mientras leen un artículo, notan aspectos del mismo que consideran sólidos y aspectos que consideran débiles. Cuanto más podamos revelar más de estas opiniones, más podremos desarrollar una perspectiva sobre el poder de un trabajo individual.

Cuando se identifica la debilidad, el autor tendrá la oportunidad de responder y esto conducirá a una comprensión más completa de los métodos de trabajo.

En cuanto al segundo punto, a saber, la recompensa de los académicos por el intercambio de datos fuente y otros materiales, actualmente a las revistas no les gusta publicar cosas como conjuntos de datos, códigos, réplicas del trabajo de otras personas, réplicas fallidas o resultados negativos. ¿Por qué es este el caso? En gran parte porque las revistas están obsesionadas con el factor de impacto, que es el número promedio de citas que se acumulan en los artículos publicados en una revista después de dos años. Los conjuntos de datos y el código no se citan demasiado, por lo que reducen el número medio de citas y, por tanto, el factor de impacto.

Las revistas están obsesionadas con el factor de impacto porque los académicos están obsesionados con ellos. Los académicos también están obsesionados con esto, porque los comités de permanencia y subvenciones están obsesionados con ello. El factor de impacto es parte de cómo se evalúa a un académico para trabajos y becas.

Necesitamos salir de este bucle. Necesitamos un personal académico para poder ir a su comité de funciones y decir: “Aquí están todos los conjuntos de datos y códigos de código que hemos publicado.

No los publicamos en revistas porque, como sabemos, las revistas no publican este material. Pero puede ver que cada uno de ellos tiene más recomendaciones de académicos senior en diferentes plataformas, por lo que estas afirmaciones de la comunidad científica deberían importar para algo. «

Hay varias empresas que trabajan en estos nuevos sistemas de revisión por pares. La mía, Academia.edu, es una red social de académicos que comentan y recomiendan el trabajo de los demás. A cada artículo de Academia.edu se le asigna un puntaje, un «PaperRank», que se basa en la cantidad de recomendaciones que recibió el artículo, ponderado por la recomendación del revisor. Los editores de F1000 y Pubpeer, un club de revistas en línea, permiten a los académicos escribir reseñas de artículos (anónimos en Pubpeer y no anónimos en F1000). ResearchGate es una red social de académicos que les permite hacer preguntas a los autores.

También se está trabajando para destacar el alcance de la crisis de reproducibilidad. Por ejemplo, un proyecto llamado La Iniciativa de Reproducibilidad se centra en examinar los niveles de reproducibilidad en varios campos científicos 4.

A medida que estas plataformas de revisión por pares se construyan en los próximos años y se inventen otras, lo ideal sería que surgiera un consenso más sólido de la comunidad científica sobre un artículo determinado, basado en una experiencia más amplia.

E, idealmente, también veremos a los académicos recompensados ​​por intercambiar conjuntos de datos, códigos y otros materiales.

Richard Price es el fundador de Academia.edu y ex miembro de All Souls College, Oxford.

1. En la ciencia del cáncer, muchos «descubrimientos» no duran

2. La fiabilidad de las preguntas sobre el «nuevo objetivo farmacológico» cuestionada

3. Collberg, C; Proebsting, T; Warren, A. (2015) Repetibilidad y beneficio en la investigación de sistemas informáticos

4. La iniciativa de reproducibilidad

Todas las noticias de la ciencia de todo el mundo en un sólo sitio. artículos de Ciencia.