Desde la biomedicina hasta las ciencias políticas, los investigadores utilizan cada vez más el aprendizaje automático como herramienta para hacer predicciones sobre la base de patrones en sus datos. Pero es probable que las afirmaciones de muchos de estos estudios sean exageradas, según un par de investigadores de la Universidad de Princeton en Nueva Jersey. Quieren hacer sonar una alarma sobre lo que llaman una «crisis de reproducibilidad en ciernes» en las ciencias basadas en el aprendizaje automático.
El aprendizaje automático se vende como una herramienta que los investigadores pueden aprender en unas pocas horas y usar por sí mismos, y muchos siguen ese consejo, dice Sayash Kapoor, investigador de aprendizaje automático en Princeton. “Pero no esperaría que un químico pudiera aprender cómo operar un laboratorio usando un curso en línea”, dice. Y pocos científicos se dan cuenta de que los problemas que encuentran al aplicar algoritmos de inteligencia artificial (IA) son comunes a otros campos, dice Kapoor, quien es coautor de una preimpresión sobre la ‘crisis’. Los revisores por pares no tienen tiempo para analizar estos modelos, por lo que la academia actualmente carece de mecanismos para erradicar artículos irreproducibles, dice. Kapoor y su coautor Arvind Narayanan crearon pautas para que los científicos eviten tales trampas, incluida una lista de verificación explícita para enviar con cada artículo.
¿Qué es la reproducibilidad?
La definición de reproducibilidad de Kapoor y Narayanan es amplia. Dice que otros equipos deberían poder replicar los resultados de un modelo, dados los detalles completos de los datos, el código y las condiciones, lo que a menudo se denomina reproducibilidad computacional, algo que ya es una preocupación para los científicos de aprendizaje automático . La pareja también define un modelo como irreproducible cuando los investigadores cometen errores en el análisis de datos que significan que el modelo no es tan predictivo como se afirma.
Juzgar tales errores es subjetivo y, a menudo, requiere un conocimiento profundo del campo en el que se aplica el aprendizaje automático. Algunos investigadores cuyo trabajo ha sido criticado por el equipo no están de acuerdo en que sus artículos tengan fallas o dicen que las afirmaciones de Kapoor son demasiado fuertes. En estudios sociales, por ejemplo, los investigadores han desarrollado modelos de aprendizaje automático que tienen como objetivo predecir cuándo es probable que un país se deslice hacia una guerra civil. Kapoor y Narayanan afirman que, una vez que se corrigen los errores, estos modelos no funcionan mejor que las técnicas estadísticas estándar. Pero David Muchlinski, un politólogo del Instituto de Tecnología de Georgia en Atlanta, cuyo artículo fue examinado por la pareja, dice que el campo de la predicción de conflictos ha sido injustamente difamado y que los estudios de seguimiento respaldan su trabajo.
Conoce más aquí
