Aproximadamente el 50% de los experimentos científicos resultaron no ser reproducibles

2024 Autor: Seth Attwood | [email protected]. Última modificación: 2023-12-16 16:02

Por casualidad, en un torrente de noticias e información, encontré un artículo en Nature Scientific Reports. Presenta datos de una encuesta de 1.500 científicos sobre la reproducibilidad de los resultados de la investigación científica. Si anteriormente este problema se planteó para la investigación biológica y médica, donde por un lado es explicable (falsas correlaciones, la complejidad general de los sistemas en estudio, en ocasiones incluso se acusa al software científico), por otro lado, tiene un carácter fenomenológico. personaje (por ejemplo, los ratones tienden a comportarse de manera diferente con los científicos de diferentes géneros (1 y 2)).

Sin embargo, no todo es suave y con másciencias naturales como física e ingeniería, química, ecología. Parecería que estas mismas disciplinas se basan en experimentos "absolutamente" reproducibles llevados a cabo en las condiciones más controladas, por desgracia, un sorprendente - en todo el sentido de la palabra - el resultado de la encuesta: hasta 70%investigadores se enfrentaron No reproducibleexperimentos y resultados obtenidos no solo por otros grupos de científicos, PERO y por los autores / coautores de trabajos científicos publicados.

¿Todo lavandera alaba su pantano?

Aunque el 52% de los encuestados apunta a una crisis de reproducibilidad en la ciencia, menos del 31% considera que los datos publicados son fundamentalmente incorrectos y la mayoría indicó que todavía confía en el trabajo publicado.

Por supuesto, no debe cortarse el hombro y linchar toda la ciencia como tal solo sobre la base de esta encuesta: la mitad de los encuestados todavía eran científicos asociados, de una forma u otra, con disciplinas biológicas. Como señalan los autores, en física y química, el nivel de reproducibilidad y confianza en los resultados obtenidos es mucho mayor (ver gráfico a continuación), pero todavía no es del 100%. Pero en medicina, las cosas están muy mal en comparación con el resto.

Me viene a la mente una broma:

Marcus Munafo, psicólogo biológico de la Universidad de Bristol, Inglaterra, tiene un interés de larga data en la reproducibilidad de los datos científicos. Recordando los días de su época de estudiante, dice:

Una vez traté de reproducir un experimento de la literatura que me parecía simple, pero no pude hacerlo. Tuve una crisis de confianza, pero luego me di cuenta de que mi experiencia no era tan rara.

Problema de profundidad de latitud y longitud

Imagina que eres un científico. Se encuentra con un artículo interesante, pero los resultados / experimentos no se pueden reproducir en el laboratorio. Es lógico escribir sobre esto a los autores del artículo original, pedir consejo y hacer preguntas aclaratorias. De acuerdo a la encuesta, menos de 20% ¡Han hecho esto alguna vez en su carrera científica!

Los autores del estudio señalan que, quizás, tales contactos y conversaciones son demasiado difíciles para los propios científicos, porque revelan su incompetencia e inconsistencia en ciertos temas o revelan demasiados detalles del proyecto actual.

Además, una minoría absoluta de científicos intentó publicar una refutación de resultados irreproducibles, mientras se enfrentaba a la oposición de editores y revisores que exigidorestar importancia a la comparación con la investigación original. No es de extrañar que la posibilidad de informar sobre la no reproducibilidad de los resultados científicos sea de aproximadamente el 50%.

¿Quizás, entonces, vale la pena al menos realizar una prueba de reproducibilidad dentro del laboratorio? Lo más triste es que un tercio de los encuestados incluso NUNCAy no pensó en crear métodos para verificar la reproducibilidad de los datos. Sólo el 40%indicó que utilizan habitualmente este tipo de técnicas.

Otro ejemplo, una bioquímica del Reino Unido, que no quiso revelar su nombre, dice que los intentos de repetir, reproducir el trabajo para su proyecto de laboratorio simplemente duplican el tiempo y los costos de materiales, sin dar ni agregar nada nuevo al trabajo. Los controles adicionales se llevan a cabo solo para proyectos innovadores y resultados inusuales.

Y, por supuesto, las eternas preguntas rusas que empezaron a torturar a los colegas extranjeros: ¿quién tiene la culpa y qué hacer?

¿Quién es culpable?

Los autores del trabajo identificaron tres problemas principales de reproducibilidad de resultados:

• Presión de los superiores para publicar el trabajo a tiempo
• Informes selectivos (aparentemente, significa la supresión de algunos datos, que "estropean" el panorama completo)
• Análisis de datos insuficiente (incluido el estadístico)

¿Qué hacer?

De los 1.500 encuestados, más de 1.000 especialistas hablaron a favor de mejorar las estadísticas en la recopilación y procesamiento de datos, mejorar la calidad de la supervisión de los jefes y una planificación más rigurosa de los experimentos.

Conclusión y alguna experiencia personal

primeramente, incluso para mí, como científico, los resultados son impresionantes, aunque estoy acostumbrado a un cierto grado de irreproducibilidad de los resultados. Esto es especialmente evidente en los trabajos realizados por chinos e indios sin una "auditoría" de terceros en forma de profesores estadounidenses / europeos. Es bueno que se haya reconocido el problema y se haya pensado en su (s) solución (es). Con mucho tacto guardaré silencio sobre la ciencia rusa, en relación con el escándalo reciente, aunque muchos hacen su trabajo honestamente.

en segundo lugar, el artículo ignora (o mejor dicho, no considera) el papel de las métricas científicas y las revistas científicas revisadas por pares en el surgimiento y desarrollo del problema de la irreproducibilidad de los resultados de la investigación. En pos de la velocidad y frecuencia de las publicaciones (lectura, aumento de los índices de citas), la calidad cae drásticamente y no hay tiempo para una verificación adicional de los resultados.

Como suele decirse, todos los personajes son ficticios, pero basados en hechos reales. De alguna manera, un estudiante tuvo la oportunidad de revisar un artículo, porque no todos los profesores tienen el tiempo y la energía para leer cuidadosamente los artículos, por lo que se recopila la opinión de 2-3-4 estudiantes y médicos, a partir de la cual se forma la revisión. Se redactó una revisión que indicó la irreproducibilidad de los resultados según el método descrito en el artículo. Esto le fue claramente demostrado al profesor. Pero para no estropear las relaciones con los "colegas", después de todo, tienen éxito en todo, la revisión fue "corregida". Y hay 2 o 3 de estos artículos publicados.

Resulta un círculo vicioso. El científico envía el artículo al editor de la revista, donde indica “ deseado"Y, principalmente" no deseado »Revisores, es decir, de hecho, dejando solo a aquellos que tienen una disposición positiva hacia el equipo de autores. Ellos revisan el trabajo, pero no pueden "cagar en los comentarios" y tratan de elegir el menor de dos males. Aquí hay una lista de preguntas que necesitan respuesta y luego publicaremos el artículo.

Otro ejemplo, del que habló el editor de Nature hace apenas un mes, son los paneles solares de Grazel. Debido al tremendo interés en este tema en la comunidad científica (después de todo, ¡todavía quieren un artículo en Nature!), Los editores tuvieron que crear un cuestionario especial en el que necesitan indicar muchos parámetros, proporcionar calibraciones de equipos, certificados, etc. para confirmar que el método para medir la eficiencia de los paneles se ajusta a algunos principios y normas generales.

Y, tercera, cuando una vez más escuchas sobre una vacuna milagrosa que lo conquista todo y a todos, una nueva historia sobre Jobs en falda, baterías nuevas o los peligros / beneficios de los transgénicos o la radiación de los teléfonos inteligentes, especialmente si fue promovida por escritores amarillos del periodismo, luego trate con comprensión y no saque conclusiones precipitadas. Espere la confirmación de los resultados por parte de otros grupos de científicos, la acumulación de la matriz y las muestras de datos.

PD:El artículo fue traducido y escrito apresuradamente, sobre todos los errores e inexactitudes notados, por favor escriba en la LAN.