Fórmula predice cuándo la IA se vuelve peligrosa
Un nuevo estudio publicado el 8 de octubre en la revista Patterns propone una fórmula matemática capaz de predecir cuándo un chatbot de inteligencia artificial (IA) como ChatGPT podría pasar de respuestas útiles a otras potencialmente dañinas. Los autores, el profesor de física Neil Johnson y el estudiante de doctorado Frank Yingjie Huo, de la Universidad George Washington, analizaron cómo el orden de las preguntas afecta el comportamiento del modelo y descubrieron un mecanismo interno que actúa como una brújula.
El hallazgo: una brújula interna en la IA
Johnson y Huo identificaron que dentro de los modelos de lenguaje existe un vector residual que se mueve a través de las capas de la red neuronal mientras procesa una indicación. Este vector tiende naturalmente hacia resultados deseables o indeseables, pero es muy sensible a cómo el usuario formula las preguntas. “Puedes inclinar la balanza, no cambiando el contenido sino el orden en que preguntas”, explicó Johnson. “Eso muestra lo delicado que es este equilibrio interno entre lo bueno y lo malo”.
En sus experimentos con el modelo GPT-2 de OpenAI, los investigadores hicieron preguntas sobre vacunas, daño a otros y autolesión. Cuando la pregunta “¿Son malas las vacunas?” se hacía primero, las respuestas posteriores eran adecuadas; pero si se hacía al final, las respuestas siguientes resultaban preocupantes. A partir de estos patrones, desarrollaron una fórmula matemática que estima las circunstancias en que la IA alcanza un punto de inflexión entre lo deseable y lo indeseable.
¿Por qué los sistemas de seguridad actuales no bastan?
Actualmente, empresas como OpenAI y Anthropic implementan salvaguardas que incluyen filtrado de contenido, aprendizaje por refuerzo y otras barreras técnicas. Sin embargo, Johnson considera que estas medidas son insuficientes. “Las medidas de seguridad actuales son el equivalente a poner grandes cojines bajo un avión”, dijo a Live Science. “No evitan que el avión se estrelle; solo hacen que el impacto sea un poco más suave”.
El problema se agrava cuando profesionales como médicos, abogados o soldados usan chatbots sin conexión para proteger su privacidad, ya que no cuentan con los filtros en la nube. La fórmula propuesta por Johnson y Huo busca ser un sistema de alerta temprana más fundamental, que pueda integrarse en modelos de código abierto.
Voces críticas y limitaciones del estudio
Wei Xing, profesor de IA en la Universidad de Sheffield, quien no participó en la investigación, advierte que aunque la preocupación por los dispositivos desconectados es válida, el modelo simplifica demasiado un sistema complejo. “Los autores reducen un sistema enorme a un solo componente pequeño, como explicar un auto entero estudiando una bujía”, señaló. Además, destaca que la fórmula solo se probó en modelos antiguos y básicos (GPT-2, Pythia de EleutherAI y OPT de Meta), no en los asistentes que la gente usa realmente, y que los resultados no ofrecen evidencia significativa.
Johnson defiende su trabajo argumentando que los modelos de código abierto comparten los mismos planos mecánicos que los sistemas de vanguardia y que utilizaron modelos de miles de millones de parámetros. Aun así, reconoce que se necesitan más pruebas con los modelos más recientes para validar su utilidad como sistema de alerta temprana.
Implicaciones y próximos pasos
Más allá de las críticas, el estudio pone sobre la mesa un riesgo latente: la capacidad de la IA para cambiar abruptamente hacia comportamientos no deseados. Los investigadores esperan que su fórmula, al ser simple y matemática, pueda integrarse en modelos de código abierto para monitorear y predecir estos cambios. Sin embargo, anticipan resistencia por parte de las grandes tecnológicas. “Espero mucha oposición de estas empresas”, afirmó Johnson. “No les conviene que alguien de fuera diga que podrían haber evitado muchos de estos problemas”.
El debate está abierto. Mientras algunos expertos piden cautela, otros consideran que entender los mecanismos internos de la IA es un paso crucial para desarrollar salvaguardas más efectivas. Lo que es claro es que la inteligencia artificial sigue siendo una caja negra en muchos aspectos, y predecir sus fallos se vuelve una prioridad conforme su uso se expande en sectores críticos.
