Home » Artículos de opinión »Destacado » Currently Reading:

¿HA DESCARRILADO EL TREN DE LA CIENCIA?

rafael_lujan noviembre 27, 2013 Artículos de opinión, Destacado 2 Comments
world-globe_full

Juan Nàcher. Dpto de Biología Celular, Universitat de València. 

Hace unas semanas cayeron en mis manos dos artículos, uno del Los Angeles Times y otro del The Economist, que, con dramáticos titulares, cuestionaban seriamente la eficacia del actual sistema de ciencia básica. Alertaban sobre el tremendo impacto económico que dicha situación provoca sobre industrias basadas en el conocimiento que genera este tipo de ciencia. Las malas noticias afectan especialmente a la Biomedicina y, por supuesto, también  a la Neurociencia. Esta impresión sobre el “descarrilamiento” del conocimiento científico está basada en recientes estudios que han demostrado que una parte importante de los resultados científicos publicados no pueden ser replicados o contienen  importantes errores metodológicos que ponen en duda su veracidad. Los ejemplos más conocidos son los realizados sobre artículos muy relevantes en la investigación del cáncer, promovidos por compañías farmacéuticas tan importantes como Amgen o Bayer, los cuales demuestran que sólo una pequeña fracción de los experimentos se pudieron replicar. La Neurociencia no es ajena a estos fracasos: Por ejemplo, se han publicado más de 500 estrategias terapéuticas que parecen funcionar en modelos animales de accidente cerebrovascular, sin embargo hasta la fecha sólo 2 de ellas han probado su efectividad en pacientes, a pesar de que muchas de estas estrategias entraron en ensayos clínicos.

El sistema de financiación que sustenta la ciencia básica no prima en absoluto en la actualidad la replicación de experimentos. La necesidad de financiar sobre todo aproximaciones novedosas a determinados problemas, en agencias de todo el mundo, obliga a soslayar estudios que intenten replicar y aportar solidez a estudios anteriores. De la misma manera, los procesos de evaluación de la actividad científica para examinar la capacidad de los investigadores y promover su carrera tienen un efecto similar sobre los estudios replicativos. Es necesario por tanto un esfuerzo conjunto de los investigadores, las agencias que los financian y los evalúan, y de los editores de las revistas que publican sus resultados para promover la replicación de experimentos. Nuevas iniciativas, como la “Reproducibility initiative” (www.scienceexchange.com/reproducibility), la inclusión de secciones para réplicas de experimentos en algunas revistas (pps.sagepub.com), la posibilidad de añadir comentarios a trabajos publicados como se pretende en revistas como Frontiers (www.frontiersin.org) o en la iniciativa de Pubmed Commons (www.ncbi.nlm.nih.gov/pubmedcommons), pueden ser alternativas viables, pero no están testadas suficientemente aún.

¿Pero, por qué fallan las reproducciones de experimentos previos? Existe amplia evidencia de errores metodológicos en una gran parte de los artículos científicos publicados. De estos errores, uno de los más frecuentes es la realización de experimentos sin que el investigador encargado de desarrollarlos sea ciego a los diferentes grupos controles y experimentales. Además, muchos experimentos tampoco tienen una correcta distribución aleatoria de los sujetos, ni una correcta estimación previa del número de sujetos necesarios en cada grupo para obtener resultados estadísticamente satisfactorios. El tratamiento de los datos producidos en los experimentos también es motivo de preocupación, dado que muchos estudios excluyen arbitrariamente conjuntos de datos o los seleccionan en base a experimentos “a posteriori”. La realización de réplicas o pseudoréplicas en un estudio, que podría aumentar su solidez, tampoco es una práctica habitual. Además, parece claro que la elección de los métodos de análisis estadístico no es la más adecuada en gran parte de los estudios publicados. La Neurociencia también sufre estos problemas: Por ejemplo, una revisión sistemática de estudios en modelos animales sobre una molécula con potencial terapéutico para los accidentes cerebrovasculares, reveló que las publicaciones que contenían deficiencias como las descritos anteriormente, mostraban efectos del fármaco significativamente menores que los estudios que no las presentaban. Los estudios clínicos llevan largo tiempo siguiendo un riguroso control de su metodología que tiene como base el reglamento denominado CONSORT. Éste es el estándar que siguen los investigadores y que también ha sido adoptado por muchas agencias de financiación y revistas de investigación clínica. Un reglamento similar sería deseable para la investigación básica y, de hecho, en este sentido algunas revistas, como las del grupo Nature, ya cuentan con un listado de puntos que los estudios deben cumplir para ser considerados para su publicación. De el mismo modo algunas asociaciones ligadas a comunidades de pacientes (algunas de enfermedades del sistema nervioso) han adoptado reglamentos similares para financiar estudios generales y específicamente para estudios en modelos animales.

Otro de los problemas de los que adolecen frecuentemente las publicaciones científicas básicas es de deficiencias en la comunicación de los resultados o el diseño experimental utilizado. Esto redunda en la incapacidad de reproducirlos, no sólo para confirmarlos, sino para construir sobre ellos nuevos experimentos que expandan el conocimiento. De nuevo la Neurociencia no es una excepción: El análisis de centenares de estudios publicados acerca de enfermedades que afectan al sistema nervioso, como el Parkinson, los accidentes cerebrovasculares o la esclerosis múltiple, han puesto de manifiesto deficiencias en la comunicación de parámetros metodológicos clave para la réplica de experimentos. Ciertamente también la obligación de suministrar a la comunidad científica los datos crudos de los experimentos cuando se publica un trabajo ayudaría mucho a la transparencia. Algunas organizaciones están creando bases de datos abiertas con los resultados crudos de los proyectos que financian (véase como ejemplo www.stanleyresearch.org).

Otro punto importante es la virtual ausencia de publicaciones de resultados negativos. Éstos no contribuyen a impulsar la carrera investigadora o su financiación, de modo que usualmente permanecen “ad eternum” en un cajón del laboratorio. Consecuentemente, se provoca que otros científicos transiten por vías que ya ha sido demostrado que llevan al fracaso. La implicación de agencias, editores y científicos es necesaria para fomentar la difusión de estos resultados. Iniciativas como el Journal of Biomedical Negative Results (www.jnrbm.com) o las bases de datos negativos parecen interesantes, pero dudo que sean la respuesta.

¿Somos los científicos culpables de este fracaso? La respuesta es, por desgracia, sí; aunque es verdad que no estamos solos en este jardín en que nos hemos metido. El artículo que mencionaba de The Economist citaba a Brian Nosek, un psicólogo de la Universidad de Virginia apabullado por los frecuentes errores en las publicaciones científicas: “El problema es que no hay un coste por hacer las cosas de manera equivocada, el coste es no conseguir publicarlas”.  Más claro, agua. Hasta que este escenario no cambie sustancialmente, difícilmente mejoraremos. Creo que no hay dudas sobre la honestidad de la gran mayoría de los científicos. En gran medida nuestros problemas se generan por errores en el proceso de revisión de los trabajos científicos previa a su publicación. Muchas veces no ponemos el suficiente celo en el escrutinio de los trabajos que evaluamos. Es cierto que esto puede ser debido en parte a que éste no es un trabajo por el que se nos pague directamente y que hacemos muchas veces por un sentido de obligación profesional. Así, es muchas veces inevitable evaluar sin un profundo interés y dedicación, lo cual favorece que estudios con errores varios vean la luz en el paraíso de la publicación. Otra cuestión que nos compete directamente tiene que ver con nuestra formación. Tenemos la obligación de formar científicos competentes en el diseño y la comunicación de experimentos y este esfuerzo debe ser continuado, desde las fases predoctorales a las sénior.

En fin, nos queda un largo camino por recorrer, que debemos hacer todos los implicados directa o indirectamente en la ciencia cogidos de la mano. El lugar donde estamos ahora nos hace perder recursos valiosísimos intelectuales y económicos, que bien utilizados podrían aumentar mucho más el beneficio que la ciencia puede rendir a la sociedad.

Una versión ampliada y más detallada de este artículo se puede encontrar en www.neuronblog.blogspot.com

 

Juan Nàcher. Dpto de Biología Celular, Universitat de València.

twitter.com/neuronacher

www.uv.es/nacherlb; www.neuronblog.blogspot.com

Referencias

www.economist.com/news/briefing/21588057-scientists-think-science-self-correcting-alarming-degree-it-not-trouble

 

www.latimes.com/business/la-fi-hiltzik-20131027,0,1228881.column

 

www.ncbi.nlm.nih.gov/pubmed/23060188

 

www.ncbi.nlm.nih.gov/pubmed/20361022

 

www.ncbi.nlm.nih.gov/pubmed/20361020

 

www.ncbi.nlm.nih.gov/pubmed/22078756

 

www.ncbi.nlm.nih.gov/pubmed/23571845

 


Currently there are "2 comments" on this Article:

  1. FABP1 dice:

    Thank you for your sharing! It’s really informative.

Comment on this Article: