El aprendizaje automático está a punto de provocar una «crisis de reproducibilidad».
Los investigadores utilizan cada vez más el aprendizaje automático como técnica para generar predicciones basadas en patrones en sus datos en campos que van desde la ciencia política hasta la biología. Sin embargo, un par de académicos de la Universidad de Princeton en Nueva Jersey creen que es probable que muchas de las afirmaciones de estos estudios sean exageradas. Esperan crear conciencia sobre un «problema de reproducibilidad que se está gestando» en las ciencias basadas en el aprendizaje automático .
Según Sayash Kapoor, investigador de aprendizaje automático en Princeton
El aprendizaje automático se promueve como una técnica que los académicos pueden aprender y utilizar por su cuenta en cuestión de horas. Pero no anticiparías que un científico podría aprender a administrar un laboratorio a través de un curso en línea, argumenta el hombre. Según Kapoor, coautor de una preimpresión sobre la «crisis», pocos científicos son conscientes de los problemas que enfrentan al usar inteligencia artificial (IA)los algoritmos también están presentes en otros dominios. Afirma que debido a que los revisores por pares no tienen tiempo para examinar cuidadosamente estos modelos, la academia actualmente carece de sistemas para identificar trabajos que no son replicables. Las pautas fueron desarrolladas por Kapoor y su coautor Arvind Narayanan para que los científicos eviten errores similares, incluida una lista de verificación explícita para enviar con cada artículo.
¿Qué es la reproducibilidad?
El concepto de reproducibilidad proporcionado por Kapoor y Narayanan es amplio. La reproducibilidad computacional , que actualmente es una preocupación para los especialistas en aprendizaje automático, establece que otros equipos deberían poder duplicar los resultados de un modelo dados los detalles completos sobre datos, código y circunstancias. Un modelo también se considera irreproducible, según el dúo, cuando los investigadores cometen errores en el análisis de datos y el modelo no es tan preciso como se anuncia.
Dichos errores son difíciles de evaluar objetivamente y, con frecuencia, requieren una experiencia profunda en la industria a la que se aplica el aprendizaje automático. Algunos autores cuyo trabajo ha criticado el equipo argumentan que sus publicaciones incluyen errores o sostienen que las afirmaciones de Kapoor son exageradas. Por ejemplo, en el campo de los estudios sociales, los académicos han creado aprendizaje automáticomodelos que pretenden pronosticar cuándo es más probable que una nación caiga en una guerra civil. Una vez que se corrigen los errores, según Kapoor y Narayanan, estos modelos no funcionan mejor que los métodos estadísticos convencionales. David Muchlinski, del Instituto de Tecnología de Georgia, un politólogo cuyo artículo2 fue estudiado por los dos, afirma que la predicción del área de conflicto ha sido injustamente menospreciada y que las investigaciones posteriores respaldan sus hallazgos.
Sin embargo, el himno del equipo ha sido bien recibido. Para generar y difundir soluciones, más de 1200 personas se registraron en lo que aparentemente fue una breve sesión en línea sobre reproducibilidad el 28 de julio organizada por Kapoor y sus colegas. Cada industria seguirá enfrentándose a problemas similares, afirma, “hasta que hagamos algo como esto.
Cuando los algoritmos se utilizan en campos como la salud y la justicia
El exceso de confianza en las capacidades de los modelos de aprendizaje automático puede ser perjudicial, advierte Momin Malik, científico de datos de la Clínica Mayo en Rochester, Minnesota, quien hablará en el evento. Advierte que la reputación del aprendizaje automático puede verse afectada si la situación no se resuelve. “Estoy un poco sorprendido de que la credibilidad del aprendizaje automático aún no se haya derrumbado. Sin embargo, creo que puede suceder muy pronto.
Conoce más aquí
