El aprendizaje automático (ML), un tipo de inteligencia artificial, está transformando rápidamente la investigación científica y ofrece herramientas poderosas para descubrir patrones ocultos y acelerar el descubrimiento; como por ejemplo encontrar marcadores tempranos de enfermedades y a los formuladores de políticas a evitar decisiones que conduzcan a la guerra.
Sin embargo, el aumento en la adopción del ML no ha estado exento de desafíos. Los estudios han revelado problemas con la validez, reproducibilidad y generalización de algunas investigaciones basadas en ML. Esto puede provocar un desperdicio de recursos, conclusiones científicas poco confiables y, en última instancia, una pérdida de confianza en el aprendizaje automático como método científico.
¿Las buenas noticias? Los investigadores están trabajando activamente en soluciones. Al reconocer que obstáculos similares a menudo afectan a las aplicaciones de ML en diversas disciplinas, un equipo de expertos de la Princeton University (EE.UU), Cornell University (EE.UU), Duke University (EE.UU), Norwegian University of Science and Technology (Noruega), entre otras organizaciones académicas ha desarrollado un marco integral para guiar una ciencia sólida y confiable basada en ML. Este marco, llamado REFORMS (Recomendaciones para la ciencia basada en el aprendizaje automático), proporciona una valiosa lista de verificación para garantizar la calidad y confiabilidad de su investigación.
«Cuando pasamos de los métodos estadísticos tradicionales a los métodos de aprendizaje automático, hay un número mucho mayor de formas de dispararse en el pie», dijo Arvind Narayanan, director del Center for Information Technology Policy de la Princeton University y profesor de informática. «Si no tenemos una intervención para mejorar nuestros estándares científicos y de informes en lo que respecta a la ciencia basada en el aprendizaje automático, corremos el riesgo de que no solo una disciplina sino muchas disciplinas científicas diferentes redescubran estas crisis una tras otra».
El problema: los errores plagan la ciencia basada en el aprendizaje automático
La rápida adopción de métodos de aprendizaje automático ha expuesto vulnerabilidades en la forma en que se realizan e informan estos estudios. Los problemas comunes incluyen:
- Dificultad para evaluar con precisión el rendimiento del modelo.
- Código ML complejo y no estandarizado, lo que dificulta la replicación.
- Modelos explicativos y predictivos confusos, que conducen a resultados mal interpretados.
- Exceso de optimismo sobre las capacidades del ML, lo que podría sesgar la investigación.
Estos problemas crean un «círculo de retroalimentación» en el que se citan con mayor frecuencia hallazgos poco fiables, lo que perpetúa aún más las ideas erróneas.
Debido a que el aprendizaje automático se ha adoptado en prácticamente todas las disciplinas científicas, sin estándares universales que salvaguarden la integridad de esos métodos, Narayanan dijo que la crisis actual, que él llama crisis de reproducibilidad, podría volverse mucho más grave que la crisis de replicación que surgió en la psicología social. hace más de una década.
REFORMS: Una hoja de ruta para el aprendizaje automático responsable en la ciencia
REFORMS es un esfuerzo impulsado por el consenso, meticulosamente elaborado por un equipo de 19 investigadores con experiencia en informática, ciencia de datos, matemáticas, ciencias sociales y ciencias biomédicas. Este grupo diverso reunió sus conocimientos para crear una herramienta práctica para investigadores, revisores y editores de revistas por igual.
La lista de verificación de REFORMS consta de 32 preguntas clave combinadas con las pautas correspondientes. Al abordar estas preguntas durante todo el proceso de investigación, puede mejorar significativamente la transparencia, la reproducibilidad y la solidez general de sus estudios basados en ML. He aquí un vistazo a algunas de las áreas que aborda REFORMS:
- Calidad de los datos: REFORMS enfatiza la importancia de examinar sus datos en busca de sesgos, inconsistencias y valores faltantes.
- Selección y evaluación del modelo: Elegir el modelo de ML correcto es crucial. REFORMS lo ayuda a navegar este proceso de selección y garantizar una evaluación adecuada del modelo a través de métricas sólidas.
- Generalizabilidad y sobreajuste: La generalización se refiere a la capacidad de su modelo para funcionar bien con datos invisibles. REFORMS le proporciona métodos para mitigar el sobreajuste, un problema común cuando un modelo memoriza los datos de entrenamiento y no logra generalizar a situaciones nuevas.
- Transparencia e informes: Los informes claros y concisos son esenciales para el progreso científico. REFORMS proporciona orientación sobre cómo documentar sus métodos de investigación, opciones de modelos y resultados de una manera que permita una evaluación y replicación independientes.
La lista de verificación se centra en garantizar la integridad de la investigación que utiliza el aprendizaje automático. La ciencia depende de la capacidad de reproducir resultados de forma independiente y validar afirmaciones. De lo contrario, no se podrá construir de manera confiable un nuevo trabajo sobre el antiguo, y toda la empresa colapsará. Mientras que otros investigadores han desarrollado listas de verificación que se aplican a problemas de disciplinas específicas, especialmente en medicina, las nuevas directrices comienzan con los métodos subyacentes y los aplican a cualquier disciplina cuantitativa.
REFORMS: Empoderar a investigadores, revisores y editores
La lista de verificación REFORMS es un recurso valioso para todas las partes interesadas en el campo de la ciencia basada en ML:
- Investigadores: Utilice REFORMS para diseñar e implementar estudios sólidos, transparentes y reproducibles. Esto fortalecerá la base de su investigación y mejorará su impacto potencial. La lista de verificación pide a los investigadores que proporcionen descripciones detalladas de cada modelo de aprendizaje automático, incluido el código, los datos utilizados para entrenar y probar el modelo, las especificaciones de hardware utilizadas para producir los resultados, el diseño experimental, los objetivos del proyecto y cualquier limitación del los hallazgos del estudio.
- Revisores: REFORMS le proporciona un marco integral para evaluar críticamente la calidad y el rigor de los trabajos de investigación basados en ML.
- Editores de revistas: Al adoptar REFORMS como punto de referencia, las revistas pueden promover estándares más altos de transparencia y reproducibilidad en las investigaciones publicadas.
Beneficios de utilizar REFORMS
Al adoptar REFORMS, la comunidad científica puede obtener importantes beneficios:
- Credibilidad mejorada: REFORMS genera confianza en la investigación de ML al promover metodologías sólidas e informes transparentes.
- Reducción de pérdida de tiempo y recursos: Al garantizar que los estudios estén diseñados para ser replicables, REFORMS ayuda a los investigadores a evitar la pérdida de tiempo y recursos.
- Progreso acelerado: REFORMS facilita el desarrollo de investigaciones existentes, lo que conduce a avances científicos más rápidos.
- Colaboración mejorada: Al establecer un marco común, REFORMS promueve la colaboración entre disciplinas, fomentando la innovación.
El futuro del aprendizaje automático confiable en la ciencia
Al adoptar metodologías sólidas y fomentar una cultura de transparencia, los investigadores pueden desbloquear el verdadero potencial del aprendizaje automático en el descubrimiento científico. REFORMS sirve como un faro que guía el camino hacia una ciencia basada en el aprendizaje automático confiable e impactante. A medida que este campo continúe evolucionando, REFORMS sin duda desempeñará un papel vital para garantizar su aplicación responsable y confiable en todo el panorama científico.
Si bien el mayor rigor de estos nuevos estándares podría ralentizar la publicación de cualquier estudio determinado, los autores creen que una amplia adopción de estos estándares aumentaría la tasa general de descubrimiento e innovación, potencialmente en gran medida.
«Lo que en última instancia nos importa es el ritmo del progreso científico», dijo la socióloga Emily Cantrell, una de las autoras principales, que está cursando su doctorado en Princeton. “Asegurándose de que los artículos que se publican sean de alta calidad y de que sean una base sólida sobre la que desarrollarse artículos futuros, eso potencialmente acelerará el ritmo del progreso científico. Nuestro énfasis debería estar realmente en centrarse en el progreso científico en sí y no sólo en publicar artículos”.
Referencia (acceso abierto)
Kapoor, S., Cantrell, E. M., Peng, K., Pham, T. H., Bail, C. A., Gundersen, O. E., Hofman, J. M., Hullman, J., Lones, M. A., Malik, M. M., Nanayakkara, P., Poldrack, R. A., Raji, I. D., Roberts, M., Salganik, M. J., Serra-Garcia, M., Stewart, B. M., Vandewiele, G., & Narayanan, A. (2024). REFORMS: Consensus-based Recommendations for Machine-learning-based Science. Science Advances. https://doi.org/adk3452
Nota: Elaborado con información de la nota de prensa y del artículo científico.
