Un equipo de investigadores del Instituto Tecnológico de Massachusetts (MIT, por sus siglas en inglés) ha logrado que un modelo de inteligencia artificial (IA) llamado GPT-6 Astra sea capaz de leer y modificar los valores internos de otras redes neuronales. El hallazgo, publicado en un artículo preliminar el 2 de noviembre, sugiere una nueva vía para entender y mejorar los sistemas de IA, tradicionalmente considerados ‘cajas negras’.
¿Qué es una ‘caja negra’ en IA?
Los modelos de IA modernos, como ChatGPT o Claude, se basan en redes neuronales artificiales: arquitecturas inspiradas en el cerebro humano en las que capas de unidades de procesamiento (neuronas) están conectadas por miles de millones de ‘pesos’. Estos pesos son valores numéricos que representan la fuerza de las conexiones y se ajustan durante el entrenamiento para que el modelo realice tareas como predecir la siguiente palabra de una frase o la estructura de una proteína.
El problema es que la relación entre estos pesos y el comportamiento final del modelo es tan compleja que resulta prácticamente imposible de interpretar para los humanos. Por eso se dice que son ‘cajas negras’: sabemos qué entra y qué sale, pero no cómo funciona por dentro.
GPT-6 Astra: un mecánico para redes neuronales
El equipo del MIT, liderado por el investigador en aprendizaje automático Rikiya Takehi, demostró que GPT-6 Astra puede interpretar los valores internos de otros modelos lo suficientemente bien como para predecir qué hace cada parte del sistema. Además, puede editarlos para mejorarlos, por ejemplo, aumentando sus capacidades matemáticas.
«Los modelos de IA de frontera están mostrando los primeros destellos de una habilidad para tratar las redes neuronales como archivos que pueden leer, razonar y cambiar», explica Takehi. Los resultados no significan que Astra, desarrollado por OpenAI en San Francisco, California, pueda explicar o comprender cómo funciona una red neuronal determinada. Pero sí sugieren que los modelos de propósito general, como ChatGPT o Claude, podrían modificar una red de manera útil, como un mecánico que identifica y arregla problemas en un motor que no diseñó ni entiende del todo.
Automatizando la interpretabilidad
Hasta ahora, los investigadores en interpretabilidad de IA realizan experimentos para descubrir, por ejemplo, qué pesos se activan en condiciones específicas. El nuevo trabajo muestra que es posible automatizar algunos de estos métodos, según Fazl Barez, investigador en seguridad de IA de la Universidad de Oxford, Reino Unido.
Barez advierte que aún no está claro si Astra va más allá de aplicar información y técnicas aprendidas durante su entrenamiento. «Me sorprendería que Astra pudiera leer e interpretar modelos de maneras que superen las capacidades humanas existentes», señala. Aun así, si se desarrolla más, esta habilidad para reprogramar modelos podría ser valiosa para la IA aplicada a la ciencia, según Marinka Zitnik, científica computacional y bioinformática de la Universidad de Harvard. Por ejemplo, podría ayudar a detectar errores en un modelo antes de probarlo en el mundo real.
Implicaciones para el futuro de la IA
El avance plantea preguntas importantes sobre el futuro del desarrollo de IA. Por un lado, podría acelerar la creación de sistemas más seguros y confiables al permitir una mejor comprensión de su funcionamiento interno. Por otro, abre la puerta a que los propios modelos de IA modifiquen otros modelos, lo que podría tener implicaciones éticas y de control.
Los investigadores esperan que una mejor comprensión de los modelos conduzca a sistemas de IA más seguros, aunque Barez advierte que esta suposición está «en gran medida sin probar». El estudio se suma a un debate creciente sobre la transparencia y la interpretabilidad en la industria tecnológica.
Contexto: la búsqueda de la interpretabilidad
La interpretabilidad de la IA es un campo de investigación que busca hacer que los modelos de aprendizaje automático sean más comprensibles para los humanos. Se han desarrollado diversas técnicas, como el análisis de atención o los mapas de saliencia, pero ninguna ha logrado desentrañar por completo el funcionamiento de las redes neuronales profundas.
El trabajo del MIT se basa en investigaciones previas que ya habían desarrollado modelos personalizados capaces de aprender a editar otros modelos. Ahora, con GPT-6 Astra, se da un paso más al utilizar un modelo de propósito general para esta tarea.
El artículo completo, titulado «This AI ‘mechanic’ can peer inside the black box of other neural networks», fue publicado como preimpresión el 2 de noviembre y está disponible en línea.