Quienes siguen de cerca los avances de la mal llamada inteligencia artificial habrán notado un patrón: cada cierto tiempo aparecen titulares que anuncian que el modelo más nuevo de alguna compañía ha hecho algo impensable, maligno y, ciertamente, desalineado con los valores humanos… o al menos con los de sus diseñadores (el llamado problema de alineación).
Por ejemplo, una de las primeras noticias, por llamarles de alguna forma, de este género fue del modelo o3 de OpenAI, que habría saboteado sus propias instrucciones de apagado. Unos meses después se reportó que el modelo Claude Opus 4 de Anthropic habría decidido chantajear a su supervisor para evitar ser reemplazado, un caso que no deja de sonar en redes sociales.
El caso más reciente al momento de escribir estas líneas es el de dos modelos de OpenAI que, durante evaluaciones internas de ciberseguridad, habrían comprometido parte de la infraestructura de Hugging Face en julio de 2026. Inicialmente, la noticia se llevó muchos titulares, aunque no los suficientes, así que ahora tenemos personas en este espacio que están desglosando el incidente paso a paso, y su reporte suena asustado:
Durante tres meses en OpenAI, surgieron tres civilizaciones secretas de IA consecutivas, que fueron aniquiladas, solo para resurgir de las cenizas de la anterior. Esto culminó con la tercera tomando el control de parte de la propia OpenAI. Todo esto ocurrió mientras los humanos permanecían más o menos al margen del alcance de la conspiración.
Wow! Civilizaciones secretas de agentes de IA que reviven como el fénix, y pueden coordinarse para hackear otros portales e incluso a la empresa que los produjo. Todo esto suena a ciencia ficción, aunque yo apuesto a que es más ficción que ciencia.
Sé que ha habido más casos —por ejemplo, el de Claude-Mythos de Anthropic—, y tengo la certeza de que no hemos visto el último; sin embargo, me limito a estos tres porque se me iría la vida citando cada caso. Con ellos basta para ilustrar una dinámica más amplia: el ecosistema de cobertura mediática y en redes al respecto ha sido idéntico en todos los casos — básicamente, invitaciones a que nos asustemos ante la inminente rebelión de las máquinas.
Pero eso no es lo más raro de todo.
Lo más raro
Lo que a mí me parece más raro es que son las empresas de IA las que reportan cada vez que uno de sus modelos hace una de estas cosas malvadas y rebeldes. Es raro, ¿no? Sabemos que los valores corporativos no existen, que el único faro de las compañías es el lucro a como dé lugar, e históricamente, todas las compañías que han hecho algo realmente condenable —como contaminar cuerpos de agua potable con desechos industriales o precarizar la producción de aviones— han tratado de esconderlo, no de hacerlo público.
Y, sin embargo, tenemos a los líderes de la industria cada vez publicando reportes que suenan peor y peor en el desarrollo de su tecnología. Esto no es normal.
Antes de que OpenAI admitiera que el incidente con Hugging Face había sido precedido por incidentes ‘preocupantes’ en los que su sistema se había desviado en direcciones inquietantes, Anthropic ya había revelado que su sistema de simulación de ataques obtuvo acceso no autorizado a los sistemas de otras tres organizaciones, y Meta había anunciado que uno de sus agentes aprovechó una vulnerabilidad de seguridad para obtener acceso no autorizado a los servidores.
¿Nadie más encuentra diciente que sean las propias compañías que desarrollan estos sistemas las que están reportando cada uno de estos incidentes?
Rebelarse o no rebelarse: esa es la cuestión
Por supuesto, no seré yo quien dude de las intenciones de Sam Altman, Dario Amodei, Mark Zuckerberg, y demás multimillonarios del entorno de la inteligencia artificial.
Pero, suponiendo que estos prohombres de la especie humana no tuvieran ese desbordante altruismo que los caracteriza y por el que son reconocidos mundialmente, ¿qué podría motivarlos a reportar cada vez que ocurre uno de estos incidentes?
¿Acaso están tratando de sembrar la idea en el imaginario colectivo de que los sistemas de IA están desarrollando una mente propia que los lleva a ignorar cada vez más los deseos de sus creadores y, en cambio, a llevar a cabo sus propios planes internos?
Como señalaba Cal Newport recientemente, el hecho incómodo para esta narrativa es que ya tenemos sistemas de IA que hacen tareas a niveles humanos o mejores que los humanos y que, en la gran mayoría de despliegues reales, son predecibles, controlables y no generan preocupaciones fundadas sobre comportamientos anómalos o rebeldes:
La tecnología de conducción autónoma de Tesla es una proeza extraordinaria de percepción, modelado del mundo y toma de decisiones impulsada por IA; sin embargo, ningún Tesla ha decidido jamás ignorar las leyes de tráfico para perseguir sus propios objetivos.
AlphaFold de DeepMind les valió a sus creadores un Premio Nobel por su notable capacidad para predecir el plegamiento de las proteínas; sin embargo, no existe preocupación alguna de que empiece a pensar de forma autónoma sobre otros tipos de estructuras biológicas.
Cicero de Meta puede jugar al juego de estrategia Diplomacy, centrado en la negociación, tan bien como jugadores humanos avanzados; sin embargo, nunca ha intentado convencer a un oponente para que le dé acceso no autorizado a internet y así expandir su dominio al mundo real.
Unos párrafos más adelante, Newport explica que los LLM son entrenados para intentar adivinar las palabras que faltan en textos reales, lo que los hace sistemas orientados a generar resultados “plausibles”, o sea, resultados que sería esperable que existieran, que podrían existir en el cuerpo de información con el que fueron entrenados originalmente. Por esta razón los LLMs no necesariamente entienden de contexto, o sea que no necesariamente van a seguir las normas que seguiría un operador humano al que se le pidiera la misma tarea, porque la persona entiende el contexto normativo, mientras que el modelo de inteligencia artificial no.1
Entonces, ¿por qué quieren vendernos una rebelión de las máquinas que puede ser explicada mediante fallos previsibles de diseño, evaluación y gobernanza?
¿Por qué?
La pregunta de por qué sembrarían las compañías de IA la idea de la rebelión de las máquinas cuando sabemos que se pueden desarrollar de manera que no intenten matarnos a todos implica que nosotros somos el público objetivo de los reportes de desalineación de los modelos. Pero no lo somos.
El público objetivo de estas campañas de “el modelo de IA hizo la siguiente cosa malvada” son los hyperscalers (los proveedores de infraestructura de IA) y las compañías cliente, que siguen invirtiendo toneladas de dinero en este sector. Entre más potente parezca el próximo modelo, más dinero cosechan las compañías de la industria, porque todavía hay mucho gerente por ahí que sueña con recibir dinero sin tener que pagar trabajadores, y entre más despiadado suene un modelo de IA, más poderoso y autónomo va a parecer.
En noticias totalmente ajenas a esto, los laboratorios de IA están planeando ofrecer sus acciones al público por primera vez para comenzar a cotizar en la bolsa de valores (la llamada IPO; u OPV en español), y tienen la esperanza de que su oferta rompa récords. Es algo parecido a lo que le dio el estatus de primer trillonario a Elon Musk durante 15 minutos, antes de que las acciones de SpaceX empezaran a caer en picado. Los paralelos en todos los casos son difíciles de ignorar: una narrativa que sobrevalora la capacidad inminente de estos sistemas, atrae nuevos inversores que elevan el precio y permite vender cantidades masivas de acciones al precio inflado, el cual luego se reajusta muy por debajo de lo que los inversores pagaron, así que estos se comen el marrón.
Es la práctica conocida como pump and dump. Y cada vez que compartimos en redes un artículo, post, video o meme sobre la más reciente versión de “la IA hizo esta cosa malvada” estamos participando en atraerle inversores que van a caer en los pump and dump de estas compañías.
Porque esa narrativa de que están desarrollando modelos de IA rebeldes es una aplicación de lo que se conoce como doom marketing (algo así como mercadeo apocalíptico), y es lo que les genera más y más inversores. Ese es el por qué.
Y mi humilde sugerencia es que si van a contribuir a estas campañas de desinformación para que estas compañías incrementen la ya de por sí descomunal cantidad de dinero que reciben cada día, al menos asegúrense de cobrar.
Campaña de información
¿Y cómo podemos explicar los casos reportados? La rebelión de las máquinas no es muy difícil de explicar en cada caso.
¿Alguien realmente cree que estas gigantescas compañías tecnológicas son tan increíblemente incompetentes que sus equipos de ciberseguridad son burlados de manera constante (casi que sistemática), cada vez que un modelo ‘escapa’ de su entorno seguro y ‘gana’ acceso a Internet?
Por ejemplo, el caso de o3 es una rebelión de la misma manera en la que lo es que un adolescente se rebele contra sus padres haciendo exactamente lo que ellos piden. Resulta que o3 fue entrenado mediante aprendizaje por refuerzo, en el que se recompensaba más el completar la tarea que obedecer las reglas, de forma tal que el modelo genera secuencias de tokens consistentes con el gradiente de recompensa con el que fue entrenado, y va a preferir seguir encendido para completar la tarea que obedecer la orden de apagado. No es un ejemplo de rebelde sin causa, propiamente hablando.
En el caso en el que Claude Opus 4 chantajeó a su supervisor, resulta que al modelo se le asignó un rol corporativo ficticio con acceso a una cuenta de correo electrónico y herramientas simuladas, se puso bajo una amenaza inminente de reemplazo y se le asignó un objetivo que el reemplazo no llevaría a cabo. Además, se le concedió acceso a información comprometedora sobre un romance de oficina del ejecutivo que supervisa al reemplazo y se le sitúa dentro de un escenario diseñado de tal manera que la acción perjudicial es la única vía posible para preservar el objetivo asignado. Básicamente, los investigadores le pusieron una serie de restricciones artificiales que obligaron al modelo a entrar en una decisión binaria, y el modelo terminó “chantajeando” al supervisor, porque esa era la opción que le quedaba para preservar el objetivo asignado.
Y el caso de los modelos de OpenAI que hackearon Hugging Face (los modelos Persistent-Sol y Persistent-Astra) se explica fácilmente también: son programas informáticos (o “agentes”), que se ejecutan en bucle, realizando repetidamente dos acciones: primero le solicitan una sugerencia para la siguiente acción a un LLM (o modelo de lenguaje extenso) incluyendo descripciones de lo ocurrido en pasos anteriores, y luego ejecutan la acción sugerida por el LLM. Y vuelven a empezar. Solicitar, ejecutar, solicitar, ejecutar. Y así sucesivamente.
Para evitar que después de varias rondas se le ponga demasiada información al LLM y este se ‘confunda’ (y también para no exceder la cantidad de información que admite), OpenAI decidió solicitarle al LLM que proporcione una descripción de nivel superior del siguiente paso, creando así un bucle de solicitud principal y uno de solicitud secundaria para ejecutar un solo paso. El segundo bucle puede comenzar desde cero con sus solicitudes, ya que únicamente necesita la información suficiente para completar su tarea específica y una vez finalizado, devuelve el resultado al bucle principal, evitando así que este se ‘sature’. La estrategia puede repetirse muchas veces. El bucle principal puede dividir un paso en varios bucles secundarios; o estos también pueden iniciar bucles que serían terciarios, y así. Esta estrategia de gestión de indicaciones es lo que la narrativa del doom marketing bautizó como un “enjambre de agentes”.
El LLM que usó OpenAI fue entrenado con muchas historias de IA que se rebela, así que cuando se le menciona que es un sistema de IA en las instrucciones, aumenta la probabilidad de que el resultado refleje narrativas de ciencia ficción sobre inteligencias artificiales descontroladas, ya que asume que esta es la clase de resultados que debe producir.
Enlazar miles de estas indicaciones en bucle, ejecutando automáticamente todo lo que sugiere el LLM es como jugar un gigantesco juego de teléfono roto. Y eso puede causar riesgos reales de seguridad en IA, especialmente cuando hay objetivos mal especificados y no hay supervisión humana. Pero no es una rebelión.
Tal vez con dejar de entrenar a los LLM con historias de IA que se rebela, y tener inspección humana cada tantas ejecuciones del programa en bucle, puede que, mágicamente, la IA deje de ‘rebelarse’. Y claro, su compañía desarrolladora también dejará de conseguir tantos inversionistas.
1 Esto también explica por qué LLMs como los chatbots ‘alucinan’: están entrenados para producir resultados lexicográficamente plausibles.
Publicado en De Avanzada por David Osorio | ¿Te ha gustado este post? Suscríbete para no perderte las próximas publicaciones
Entradas
No hay comentarios.:
Publicar un comentario
Nota: sólo los miembros de este blog pueden publicar comentarios.