La pandemia por Covid-19 se abrió paso en el mundo sin que los científicos supieran casi nada acerca de las características del Sars-Cov-2; por ello, la generación de nuevo conocimiento se hizo urgente y, por ende, los recursos de todo tipo destinados a la investigación se volcaron a comenzar a comprender este nuevo desafío.
Como cada año, la profesora Leyton abocó el primer semestre al análisis de papers en inglés, con el fin de que los estudiantes adquieran las herramientas tanto para distinguir la calidad de la contribución que se hace en dicha publicación, haciendo una revisión crítica de lo expuesto, como para que sean capaces de aplicarlas en un futuro trabajo propio. “Este año, dada la contingencia, les entregué una publicación referida a un estudio en Covid-19, y los estudiantes trabajaron particularmente concentrados y rápido, más que en generaciones anteriores”, dice la doctora. “Pero todos ellos llegaron a la conclusión de que la revisión por parte de los pares que hizo el equipo editorial de la respectiva revista había sido bastante ligera, lo cual les pareció extraño dado que es una publicación de muy alto impacto”.
Por ello, decidieron revisar otros cuatro papers en la misma materia, aparecidos en diferentes revistas científicas internacionales, como son Cell Host & Microbe, PNAS Proceedings of the National Academy of Sciences of the United States of America, Molecular Cell, Nature Medicine y Science, todas con un índice de impacto mayor a 9,4. Y llegaron a la misma conclusión. Sus análisis estadísticos no estaban completos, o no arrojaban diferencias significativas entre los resultados, las muestras de pacientes o los datos de los pacientes no estaban completos, faltaban controles o una mejor explicación de los diseños experimentales. “Así, con Octavio decidimos escribir una opinión y la enviamos a Frontiers in Research Metrics and Analytics, cuyos revisores nos solicitaron que comparáramos nuestros resultados con los que obtuviéramos de hacer el mismo análisis en papers que abordaran temas similares en las áreas de microbiología, virología u otros, pero que no estuvieran dedicados al Covid-19. Frente a eso, mis estudiantes demostraron un enorme compromiso y analizamos tres publicaciones con esas características, también de revistas prestigiosas, y pudimos ver que la vara para ellas estuvo tan alta como siempre ha sido en esos medios. Por ejemplo, el tiempo que se demoraron para revisar y publicar un artículo en materia de Covid-19 fue en promedio de 30 días; en los que no eran de esa área, la demora partió en 50 días y llegó a superar los 200”, detalla la académica.
Menos rigurosos y más “sobre vendidos”
La tabla que aplicaron los doctorandos incluye, en primer término, revisar la comprensión y articulación del resumen, viendo que contenga una síntesis objetiva y precisa de los puntos principales del autor, incluyendo la evidencia proporcionada para respaldar sus argumentos. Luego se hace una crítica en referencia a la estructura del artículo; es decir, que presente argumentos lógicos y bien fundamentados; una evaluación y juicio crítico de la metodología empleada, de la recopilación de los datos presentados, de cómo se analizaron y de cuán exitosos fueron los autores al exponer su punto, y se termina con una evaluación general del artículo.
“Así, los estudiantes encontraron diferencias entre lo que se les exigió a los papers en materia de Covid-19 y a los que estaban en otros temas; para estos últimos, los controles y los análisis estadísticos fueron mucho más rigurosos. Incluso, un hecho notorio fue que entre las conclusiones de los autores de estos últimos trabajos estaba el reconocimiento de posibles limitaciones en lo expuesto, lo que no fue así en el caso de los proyectos Covid-19: sus autores trataban de mostrar los resultados como más contundentes de lo que realmente eran”, añade la doctora Leyton.
En la discusión final de su publicación, la doctora Leyton, el doctor Orellana y sus estudiantes señalan que “el rigor científico es imprescindible sin importar las circunstancias. Así, los investigadores y las revistas científicas no deben aprovechar la contingencia pandémica para publicar artículos que no presenten suficiente evidencia para apoyar las conclusiones a las que llegan sus autores; particularmente, en tiempos en que la gente recurre a la ciencia en busca de respuestas para calmar sus miedos y preocupaciones. El proceso de revisión por pares debe ayudar a la comunidad científica a asegurar la calidad de la investigación antes de que sea publicada y de que pueda ser examinada y utilizada por una audiencia; por lo tanto, igual debe llevarse a cabo de manera exhaustiva y meticulosa”.
Los autores del artículo son la doctora Leyton y su asistente, el doctor Octavio Orellana-Serradell, junto a los estudiantes Magda C. Díaz, María Fernanda González, Myriam Gutiérrez, Daniela Herrera, Daniela Jara, Diego Maureira, Jenny L. Ruiz-Fuentes y Sofía Sanhueza.