La inteligencia artificial no sigue la lógica del progreso científico

Hemos escrito muchas veces en MT sobre investigadores y profesionales que proclaman los sistemas de aprendizaje automático como "cajas negras" (1) incluso para quienes los construyen. Esto dificulta la evaluación de resultados y la reutilización de algoritmos emergentes.

Las redes neuronales, la técnica que nos brinda bots de conversión inteligentes e ingeniosos generadores de texto que incluso pueden crear poesía, sigue siendo un misterio incomprensible para los observadores externos.

Cada vez son más grandes y más complejos, manejan grandes conjuntos de datos y utilizan conjuntos de cómputo masivos. Esto hace que la replicación y el análisis de los modelos obtenidos sea costoso y, en ocasiones, imposible para otros investigadores, excepto para los grandes centros con grandes presupuestos.

Muchos científicos son muy conscientes de este problema. Entre ellos se encuentra Joel Pino (2), presidente de NeurIPS, la principal conferencia sobre reproducibilidad. Los expertos bajo su liderazgo quieren crear una "lista de verificación de reproducibilidad".

La idea, dijo Pino, es alentar a los investigadores a ofrecer a otros una hoja de ruta para que puedan recrear y utilizar el trabajo ya realizado. Puedes maravillarte con la elocuencia de un nuevo generador de texto o la destreza sobrehumana de un robot de videojuegos, pero incluso los mejores expertos no tienen idea de cómo funcionan estas maravillas. Por lo tanto, la reproducción de modelos de IA es importante no solo para identificar nuevos objetivos y direcciones para la investigación, sino también como una guía de uso puramente práctica.

Otros están tratando de resolver este problema. Los investigadores de Google ofrecieron "tarjetas modelo" para describir en detalle cómo se probaron los sistemas, incluidos los resultados que apuntan a posibles errores. Investigadores del Instituto Allen para la Inteligencia Artificial (AI2) han publicado un artículo que tiene como objetivo extender la lista de verificación de reproducibilidad de Pinot a otros pasos en el proceso experimental. “Muestra tu trabajo”, instan.

A veces falta información básica porque el proyecto de investigación es propiedad, especialmente de laboratorios que trabajan para la empresa. Sin embargo, más a menudo es un signo de incapacidad para describir métodos de investigación cambiantes y cada vez más complejos. Las redes neuronales son un área muy compleja. Para obtener los mejores resultados, a menudo se requiere un ajuste fino de miles de "perillas y botones", lo que algunos llaman "magia negra". La elección del modelo óptimo a menudo se asocia con una gran cantidad de experimentos. La magia se vuelve muy cara.

Por ejemplo, cuando Facebook intentó replicar el trabajo de AlphaGo, un sistema desarrollado por DeepMind Alphabet, la tarea resultó extremadamente difícil. Los enormes requisitos computacionales, millones de experimentos en miles de dispositivos durante muchos días, combinados con la falta de código, hicieron que el sistema fuera "muy difícil, si no imposible, de recrear, probar, mejorar y ampliar", según los empleados de Facebook.

El problema aparentemente se especializó. Sin embargo, si se piensa más, el fenómeno de los problemas de reproducibilidad y funciones entre un equipo de investigación y otros conocidos por nosotros socava toda la lógica del funcionamiento de la ciencia y los procesos de investigación. Por regla general, los resultados de investigaciones anteriores pueden utilizarse como base para futuras investigaciones, que estimulan el desarrollo de conocimientos, tecnologías y el progreso general.