Home » Meetings » Currently Reading:

Hacia una mayor reproducibilidad de la investigación en neurociencias

Jose Viosca Ros diciembre 8, 2014 Meetings No Comments

Está claro que repetir experimentos de otros no es tan excitante como descubrir un espectacular y novedoso mecanismo. Seguramente, ésto no te llevará a ganar un premio Nobel, pero su importancia está en el foco de atención en la comunidad neurocientífica.

Aunque la curiosidad sea uno de los motores de la investigación básica, sobre ella se fundamentan posteriormente muchos abordajes clínicos y por ello una falta de reproducibilidad es preocupante a todos los niveles de investigación (básica o clínica). Un gran número de nuevas terapias experimentales para enfermedades neurológicas y psiquiátricas no logran superar los ensayos clínicos. Y aunque esto refleja problemas en la validez constructiva de los modelos empleados en neurociencia, también se debe en parte a un problema en la reproducibilidad de la investigación básica y preclínica. Por poner dos ejemplos: de 70 fármacos distintos que habían alargado la vida en un ratón modelo de Esclerosis Lateral Amiotrófica, NINGUNO de ellos tuvo efecto significativo alguno en 221 intentos de replicación independientes que implicaron unos 18.000 individuos. También, se calcula que en estudios de lesión medular, si bien hay replicaciones parciales, sólo el 10% de las publicaciones son reproducidas completamente.

 

Hubo una sesión dedicada a este tema en el pasado congreso de la Sociedad Americana de Neurociencia (Washington DC, 15-19 de Noviembre). No hubo pocos asistentes, y se apuntaron algunas estrategias clave que tanto revistas, organismos financiadores y los propios neurocientíficos pueden seguir para mejorar la reproducibilidad de la investigación. Los ponentes se centraron en medidas más allá de la persecución del falseo de datos, para embarcarse en una reflexión profunda sobre la propia dinámica y cultura de publicación.

 

La primera charla, por el director del NIH Francis Collins, remarcó la diferencia entre las hipótesis en investigación básica y la más rigurosa investigación que es necesaria antes de trasladar la investigación preclínica a ensayos clínicos. Y puso énfasis sobre una práctica incorrecta, el p-hacking, que como explica en su blog, consiste en seleccionar el método estadístico en función de las diferencias que produce (generalmente el p-valor más pequeño) en lugar de atender a criterios de adecuación de los datos a los requerimientos matemáticos.

 

Verónique Kiermer, de la editorial Nature, apuntó hacia una mayor transparencia en las publicaciones y resaltó 4 estrategias clave: utilizar en la revisión estándares de evaluación con checklists, eliminar las restricciones en la longitud de las secciones de materiales y métodos de los manuscritos, vigilancia más estricta de los métodos estadísticos, y enfatizar la importancia de compartir los datos crudos.

 

También hablaron investigadores, como Huda Zoghbi (Baylor College of Medicine) y John Morrison (Mount Sinai Hospital), quienes mencionaron la importancia de los códigos de buenas prácticas en investigación, aceptar y promocionar la visibilidad de los resultados negativos, una comprensión profunda de la relevancia clínica (ya sea directa o indirecta) de toda investigación en neurociencia  y por ello la utilidad de colaborar con profesionales sanitarios, así como comprender el valor y las limitaciones de los modelos animales.

 

Muchas preguntas del público asistente abordaron temas sobre cómo facilitar que los datos sean compartidos, la revisión por pares abierta, y cómo cambiar la cultura investigadora para que no sólo se incentiven los hallazgos novedosos y rompedores sino también la investigación de calidad que reproduce esos primeros hallazgos.

 

En la sesión, aconsejaron un artículo publicado recientemente en Neuron (“Rigor or Mortis: Best Practices for Preclinical Research in Neuroscience”) como lectura obligada para estudiantes, postdocs y también investigadores independientes. Este artículo recopila algunas recomendaciones adicionales:

  • Cierta serendipia en las fases preliminares de la investigación es aceptable, pero los datos principales del estudio deben ser recopilados bajo una planificación formal para maximizar el rigor.
  • Determinar la sensibilidad de los procedimientos de medida y, por ello, el tamaño muestral necesario para evaluar adecuadamente la hipótesis.
  • Incluir controles positivos y negativos.
  • Distinguir entre significación y poder estadístico (hay evidencia de que el bajo poder estadístico es un problema endémico en neurociencia).
  • Transparencia: explicar con máximo detalle, en la sección de materiales y métodos, todas las variables experimentales: el sentido atribuido al tamaño muestral (animales, rodajas, neuronas o sinapsis; teniendo claro que todos los elementos de un mismo individuo son muestras relacionadas), criterios para la inclusión y exclusión de datos experimentales, criterios para maximizar la aleatorización de individuos en los distintos grupos (y explicar los motivos cuando ésto no es posible), minimizar el sesgo mediante el ciego en el experimentador (explicitar cómo se hace y, también, cuándo no se lleva a cabo), detallar todas las variables en la ejecución del experimento (hora de la cirugía, cuidado postoperatorio, orden del test, etc.). En definitiva incluir toda la información necesaria para que cualquier otro laboratorio sea capaz de reproducir exactamente el procedimiento.
  • Colaborar entre laboratorios para maximizar el grado de experiencia de los experimentadores que analizan cada uno de los múltiples fenotipos.
  • Establecer el plan de análisis estadístico al inicio del proyecto para evitar prácticas que fuerzan la significación. Indicar qué análisis fueron anticipados y cuáles se realizaron tras el primer análisis. Indicar el poder estadístico.
  • Mejorar la gestión de los datos: nombrar archivos de manera que sea autoexplicativa, y otras recomendaciones sobre cómo elaborar un cuaderno de laboratorio del NIH.
  • Nuevas prácticas de publicación: especificar qué experimentos fueron realizados inicialmente y cuáles por solicitud de los revisores. O Incluso caminar hacia otros modelos, como el de los reportes registrados (en los que es el abordaje experimental el que es revisado y, si es aceptado, los resultados se publican independientemente de si son positivos o negativos).
  • Para fomentar que los reactivos sean compartidos entre laboratorios, depositarlos en repositorios o compañías comerciales (líneas de ratón, etc.) y especificar en las publicaciones cuáles de los reactivos usados serán accesibles y cuáles no (cuando pueda haber problemas de patente).
  • Hacer accesibles los datos crudos y volcarlos en bases de datos comunes. (ver ejemplos concretos en el artículo).

 

Fuente:

@PLOSNeuro #SfN14 highlights: Enhancing Reproducibility of Neuroscience Studies (By Amy Ross, Senior Editor, PLOS Medicine)

Rigor or Mortis: Best Practices for Preclinical Research in Neuroscience. Oswald Steward and Rita Balice-Gordon. Neuron, 84(3): 572–581 (2014) dx.doi.org/10.1016/j.neuron.2014.10.042

 


Comment on this Article: