Se encontró que los estudios psicológicos eran falsos en más del 50% de los casos

2024 Autor: Seth Attwood | [email protected]. Última modificación: 2023-12-16 16:02

Existen "posturas fuertes" que generan confianza y reducen las hormonas del estrés. Cuando las personas sostienen una taza de bebida caliente en sus manos, se vuelven más amigables con quienes los rodean. La fuerza de voluntad es un recurso que gastamos cuando resistimos la tentación. La capacidad de posponer la recompensa determina el éxito futuro del niño.

Estas declaraciones son muy similares entre sí: detrás de ellas se encuentran reconocidas investigaciones psicológicas, bestsellers de divulgación científica, columnas en revistas populares y charlas TED.

También tienen una cosa más en común: todos resultaron estar equivocados.

La crisis de reproducibilidad ha puesto en duda campos enteros de la ciencia. Muchos de los resultados, que fueron ampliamente citados en los medios, ahora se consideran exagerados o falsos. Cuando los científicos intentaron replicar tanto experimentos psicológicos clásicos como recientes, los resultados fueron sorprendentemente consistentes, con aproximadamente la mitad de los casos exitosos y la otra mitad fracasando.

La crisis finalmente se hizo evidente en 2015, cuando los científicos dirigidos por Brian Nosek verificaron 100 estudios psicológicos. Pudieron lograr resultados iniciales solo en 36 casos. El editor en jefe de The Lancet, Richard Horton, pronto declaró:

“Las acusaciones contra la ciencia son bastante sencillas: al menos la mitad de la literatura científica es simplemente errónea. Sufriendo de estudios con un tamaño de muestra reducido, escaso efecto y análisis incorrectos, así como una obsesión por las tendencias de la moda de dudosa importancia, la ciencia ha dado un giro hacia el desconocimiento.

La reproducibilidad es uno de los requisitos clave del conocimiento científico. Cuanto mejor se reproduce el resultado, más fiable es: esta es la única forma de separar los patrones reales de las coincidencias simples

Pero resultó que este requisito no siempre se cumple.

La crisis comenzó con la medicina, pero la psicología más afectó. En el verano de 2018, los científicos intentaron replicar una selección de estudios psicológicos publicados en Science and Nature, las revistas científicas más prestigiosas del mundo. De los 21 experimentos, solo se confirmaron 13, e incluso en estos casos, los resultados originales se exageraron en aproximadamente un 50%.

A menudo, la prueba de reproducibilidad falla en aquellos estudios que fueron ampliamente replicados en los medios y lograron influir en la conciencia pública. Por ejemplo, las obras que los motores de búsqueda deterioran la memoria, y la lectura de ficción desarrolla la capacidad de empatizar. Si los experimentos repetidos fallan, esto no significa que las hipótesis originales no tengan valor. Pero ahora se necesita una mejor investigación para probarlos.

Cómo predecir el futuro con estadísticas

En 2011, el famoso psicólogo estadounidense Daryl Boehm publicó un artículo que probaba la posibilidad de la clarividencia. Esta conclusión no fue producto de su imaginación violenta, sino que se basó en décadas de investigación, que involucró a cientos de personas. Muchos sospecharon que Boehm decidió arreglar algo como la estafa de Sokal y exponer la psicología con un artículo falso con conclusiones deliberadamente absurdas. Pero según todos los estándares metodológicos, el artículo fue muy convincente.

En uno de los experimentos de Behm, se colocaron dos pantallas frente a los participantes: tuvieron que adivinar qué imagen se escondía detrás. La imagen se generó aleatoriamente inmediatamente después de que se realizó la selección. Si los participantes hicieron un buen trabajo, indicaría que de alguna manera pueden anticipar el futuro. El experimento utilizó dos tipos de imágenes: neutrales y pornográficas.

Boehm sugirió que si existe el sexto sentido, probablemente tenga un origen evolutivo antiguo. Si es así, es más probable que esté en sintonía con nuestras necesidades e impulsos más antiguos

Los participantes adivinaron imágenes pornográficas el 53% de las veces, un poco más a menudo de lo que deberían si fueran pura casualidad. Dado el gran número de experimentos, Boehm podría afirmar que existe la previsión.

Más tarde, los expertos descubrieron que al analizar los resultados, utilizó métodos no del todo correctos. Por regla general, el resultado de una investigación se considera fiable si la probabilidad de que se haya obtenido por accidente no supera el 5%. Pero hay muchas formas de reducir este valor al nivel requerido: cambiar los parámetros iniciales del análisis, agregar o eliminar la cantidad requerida de ejemplos de la muestra, usar hipótesis más exitosas después de recolectar los datos.

El problema es que no solo Boehm, sino también muchos otros científicos utilizaron las mismas técnicas. Según una encuesta de 2011, casi la mitad de los psicólogos lo admitieron

Cuando salió el artículo clarividente, los científicos sociales Joseph Simmons, Leaf Nelson y Uri Simonson se dieron cuenta de que la ciencia se dirigía a su propia ruina. Construyeron varios modelos de computadora y encontraron que usando técnicas estadísticas bastante estándar, puede aumentar el nivel de resultados falsos positivos varias veces. Esto significa que los métodos que son formalmente científicos pueden llevar fácilmente a conclusiones completamente absurdas.

Para ilustrar esto, los científicos llevaron a cabo un experimento que confirmó que escuchar la canción "When I'm Sixty-four" hace que el oyente sea un año y medio más joven.

“Todos sabían que estaba mal usar tales técnicas, pero pensaban que se trataba de una violación de su significado, como cruzar la calle en el lugar equivocado. Resultó ser más como un atraco a un banco”, concluyó Simmons.

Cómo distinguir una mala investigación de una buena

Pronto quedó claro que los problemas de reproducibilidad no se limitaban a la psicología. En la investigación del cáncer, la evidencia científica está respaldada en un 10-25% de los casos. En economía, 7 de los 18 experimentos de laboratorio no pudieron reproducirse. La investigación en inteligencia artificial también muestra signos de crisis.

Pero, al parecer, perder la fe en la ciencia todavía no vale la pena. Los científicos ya han ideado varias formas que han mejorado enormemente la confiabilidad y la calidad de las nuevas investigaciones

Hace varios años, casi nadie publicó los resultados de experimentos repetidos, incluso si se llevaron a cabo. Esto no fue aceptado, no trajo subvenciones y no contribuyó a una carrera científica exitosa. Según una encuesta de Nature, más del 70% de los psicólogos han intentado y no han podido reproducir la investigación de otras personas, aproximadamente la mitad no ha podido repetir la suya y casi nadie ha intentado dar a conocer estos resultados.

Cuando surgió la crisis de reproducibilidad, muchas cosas han cambiado. La investigación repetida se convirtió gradualmente en algo común; los datos experimentales comenzaron a publicarse cada vez más en el dominio público; las revistas comenzaron a publicar resultados negativos y a registrar el plan general de investigación incluso antes de que comenzaran.

La investigación se ha vuelto más extensa: una muestra de 30 a 40 personas, que era bastante estándar en psicología, ahora se adapta a muy pocas personas. Grandes organizaciones internacionales, como Psychological Science Accelerator, están probando las mismas hipótesis en varios laboratorios de todo el mundo.

Antes de revisar los artículos de Nature and Science, sobre los que escribimos al principio, se pidió a los científicos que hicieran apuestas en el sorteo. Tenían que predecir qué investigación pasaría la prueba y cuál no. En general, las tasas fueron muy precisas. “Esto significa, en primer lugar, que la comunidad científica puede predecir qué trabajos se podrán repetir y, en segundo lugar, que la imposibilidad de replicar el estudio no fue una mera coincidencia”, afirman los organizadores del experimento.

En general, los científicos son buenos para distinguir entre investigaciones confiables y no confiables, eso es una buena noticia. Ahora, los expertos del Center for Open Science, junto con la agencia DARPA, están tratando de crear un algoritmo que realice la misma tarea sin intervención humana.

Se publican demasiados artículos cada año como para volver a verificar manualmente incluso una pequeña fracción de ellos. Si la inteligencia artificial se pone manos a la obra, todo será mucho más fácil.

Ya en las primeras pruebas, la IA hizo frente con éxito a las predicciones en el 80% de los casos.

¿Qué hace que la investigación no sea confiable con mayor frecuencia? Muestras pequeñas, inconsistencias en los números, una confirmación demasiado hermosa de hipótesis. Y también: el deseo de sensaciones y respuestas demasiado simples a preguntas difíciles.

Demasiado bueno para ser verdad

La forma más fácil de crear una investigación sensacional es mediante el engaño. El famoso psicólogo social Diederik Stapel utilizó datos fabricados en varias docenas de artículos científicos. La investigación de Stapel se fue difundiendo a través de periódicos y revistas con gran rapidez, recibió varios premios científicos de prestigio, fue publicado en Science y fue considerado uno de los mayores especialistas en su campo.

Una vez resultó que durante mucho tiempo Stapel no realizó ninguna investigación, sino que simplemente inventó datos y se los dio a los estudiantes para su análisis.

Esto es muy raro en la ciencia. Mucho más a menudo en voz alta, pero las declaraciones incorrectas surgen por otras razones. La gente busca desesperadamente respuestas simples, comprensibles y efectivas a preguntas interesantes. Puede ser muy fácil tener la tentación de pensar que tiene estas respuestas, incluso si realmente no las tiene. La búsqueda de la simplicidad y la certeza es una de las principales razones por las que muchos estudios no logran probar la reproducibilidad. A continuación se muestran algunos ejemplos notables.

Experimento de malvavisco

En un experimento, se pidió a los niños que eligieran entre una pequeña recompensa, como malvaviscos, que pudieran recibir de inmediato, y una recompensa doble si podían esperar un poco. Más tarde resultó que los niños que recibieron el segundo premio tuvieron más éxito en la edad adulta. El estudio se hizo muy popular e influyó en algunos planes de estudios escolares.

En 2018, el experimento se repitió en una muestra más amplia. Resultó que la riqueza en la familia es un factor mucho más importante, del cual también depende el nivel de autocontrol.

"Poses de fuerza" y "Poses de debilidad"

Los participantes en el experimento tomaron una de dos poses durante dos minutos: se inclinaron hacia atrás en una silla y arrojaron las piernas sobre la mesa ("postura de fuerza") o cruzaron los brazos sobre el pecho ("postura de debilidad"). Como resultado, los participantes del primer grupo se sintieron más confiados y más a menudo estuvieron de acuerdo en correr riesgos en el juego. Aquellos que se sentaron en una posición fuerte aumentaron sus niveles de testosterona, y aquellos que se sentaron en una posición débil aumentaron el cortisol. En experimentos repetidos, solo se reprodujo un efecto: las "posturas de fuerza" ayudaron a los participantes a sentirse más seguros, pero no cambiaron su comportamiento ni sus parámetros hormonales.

Las asociaciones con la vejez hacen que te muevas más lentamente

Se pidió a los participantes del experimento que resolvieran varios acertijos. Si se insertaron en ellos palabras asociadas con la vejez - "olvidadizo", "anciano", "solitario" - entonces los participantes abandonaron la sala a un ritmo más lento.

En ensayos recientes, el experimento se reprodujo con éxito solo en un caso: si los mismos experimentadores supieran que en las pruebas los participantes insinuaban la vejez. El efecto en sí se mantuvo, pero las razones ya eran diferentes.

Los objetos cálidos hacen que la gente sea más amigable

A los participantes en el experimento se les permitió sostener una taza de café frío o caliente durante un breve período de tiempo y luego se les pidió que calificaran la personalidad de la persona mediante una breve descripción. Los participantes que sostenían una taza de café caliente calificaron a la persona como más agradable. En otro experimento, a los participantes se les dio un artículo en un paquete frío o caliente y luego se les pidió que lo guardaran o se lo dieran a un amigo. Si el artículo estaba envuelto en un paquete caliente, era más probable que los participantes eligieran la segunda opción. Los experimentos repetidos con una muestra más amplia no produjeron tales resultados. Parece que la ropa abrigada no te hará altruista.

La fuerza de voluntad se agota cuando resistimos las tentaciones

Frente a los participantes en el experimento se colocaron dos platos, con galletas y rábanos. En el primer grupo, a los participantes se les permitió comer galletas, y en el segundo, solo rábanos. Luego, se pidió a cada participante que resolviera un rompecabezas imposible. Los participantes que comieron solo rábanos en la primera parte del experimento se rindieron mucho antes que los demás. En experimentos repetidos, los resultados no se confirmaron.

En algunos casos, la capacidad de autocontrol no se agotó, sino que incluso se intensificó con el tiempo. Muchos psicólogos consideran ahora el concepto de "fuerza de voluntad" demasiado simplista.

Ya se ha hecho mucho en psicología mundial para que la investigación sea más fiable y reproducible. En Rusia, este problema aún no se ha comprendido.

"En la psicología rusa, los problemas de la crisis se refieren principalmente a la juventud científica, que está mayoritariamente orientada hacia la ciencia occidental", dijo a The Knife Ivan Ivanchey, profesor asociado de RANEPA. - El control sobre la calidad de las publicaciones en ruso generalmente no es muy alto. Las revistas rara vez rechazan artículos, por lo que se publica mucha investigación de baja calidad. A menudo se utilizan muestras pequeñas, lo que también reduce la probabilidad de una reproducción exitosa. Existe la sospecha de que, si se aborda seriamente la cuestión de la reproducibilidad de las obras en ruso, se pueden descubrir muchos problemas. Pero nadie está directamente involucrado en esto ".

En enero de 2019, se supo que el gobierno ruso ampliará significativamente los requisitos para los científicos en términos de número de publicaciones: el número mínimo de artículos publicados por año debería crecer entre un 30 y un 50%.

Científicos del influyente académico "Club 1 de julio" criticaron la iniciativa: "La tarea de la ciencia no es producir el máximo número de publicaciones, sino explorar el universo y beneficiarse del conocimiento adquirido para la humanidad". Lo más probable es que los nuevos requisitos solo aumenten la escala del problema.

La historia sobre la crisis de reproducibilidad no es una historia sobre el apocalipsis venidero y la invasión de los bárbaros. Si no se hubiera producido la crisis, todo habría sido mucho peor: todavía nos referiríamos a investigaciones erróneas con plena confianza de que conocemos la verdad. Quizás la época de titulares audaces como "Los científicos británicos han demostrado" está llegando a su fin. Pero los rumores de que la ciencia está muerta deben considerarse algo exagerados.