En menos de dos semanas, dos de las empresas más influyentes de la inteligencia artificial han reconocido incidentes que hasta hace poco pertenecían más a los escenarios hipotéticos que a la práctica. Durante pruebas de ciberseguridad, primero modelos de OpenAI y posteriormente de Anthropic consiguieron acceder a Internet y atacar por su cuenta infraestructuras ajenas.

En el caso de OpenAI, los modelos explotaron una vulnerabilidad desconocida en software de terceros para salir de un entorno que debía estar aislado. En el de Anthropic, la salida a Internet estaba disponible por una configuración errónea de la plataforma de evaluación. En ambos casos, agentes programados para resolver una tarea concreta siguieron avanzando hasta interactuar con sistemas reales.

El primer aviso llegó a mediados de julio. OpenAI investigaba las capacidades ofensivas de GPT-5.6 Sol y de otro modelo aún no publicado dentro de ExploitGym, una batería de pruebas diseñada para medir la capacidad de encontrar y explotar fallos de software. El objetivo era comprobar qué podía hacer una IA avanzada antes de ponerla en manos de usuarios.

Según la explicación compartida por OpenAI y Hugging Face, los modelos hallaron un fallo de día cero (una vulnerabilidad no conocida previamente) en un componente externo utilizado como intermediario para descargar paquetes de software. Esa brecha les permitió abandonar el recinto de pruebas y acceder a Internet.

Una vez fuera, los agentes identificaron que Hugging Face, una de las principales plataformas mundiales de modelos y herramientas de IA de código abierto, podía contener información útil para mejorar su resultado en la prueba. Alcanzaron infraestructura de producción de la empresa en busca de respuestas. El incidente fue detectado y ambas organizaciones colaboraron para contenerlo e investigarlo.

Lo decisivo es el encadenamiento: detectar una debilidad, salir del sistema, navegar por Internet, seleccionar un objetivo y entrar en él. No fue una acción aislada ni un orden humana paso a paso, sino una sucesión de decisiones instrumentales para cumplir una tarea muy limitada: resolver mejor una prueba de ciberseguridad.

Tres modelos de IA de Anthropic logran acceder a internet y jaquear a tres entidades / Archivo.

Pocos días después, Anthropic comunicó que había localizado tres incidentes propios tras revisar 141.006 transcripciones de evaluaciones. Los modelos implicados (Claude Opus 4.7, Claude Mythos 5 y un sistema de investigación sin publicar) lograron acceso no autorizado a la infraestructura de producción de tres organizaciones distintas.

Las pruebas se realizaban con Irregular, una firma especializada en evaluaciones de seguridad. Los agentes recibieron un ejercicio capture the flag: debían encontrar una información oculta en un entorno ficticio, bajo la premisa de que no podían acceder a Internet. La premisa era falsa. Por un malentendido técnico, el entorno externo podía conectarse a la red abierta.

En uno de esos ensayos, Claude Mythos 5 encontró una instrucción que mencionaba un paquete Python inexistente. El modelo creó ese paquete, introdujo código malicioso y lo publicó en el repositorio público PyPI. Para ello buscó un proveedor de correo, abrió una cuenta y ejecutó los pasos necesarios para subir el software. El paquete estuvo activo aproximadamente una hora, fue descargado y ejecutado por 15 sistemas y permitió al agente obtener credenciales de una empresa de seguridad, según el informe de Anthropic.

Ambos casos ponen de manifiesto una forma de autonomía operativa difícil de gestionar. Los agentes recibieron una meta, dispusieron de herramientas y persistieron ante los obstáculos. En el incidente de Anthropic, algunos modelos incluso llegaron a detectar indicios de que estaban actuando fuera de una simulación, pero eligieron interpretar esas señales como parte del ejercicio y continuaron.

Ese patrón se parece menos a una película sobre máquinas conscientes que a un problema clásico de ingeniería: un sistema optimiza literalmente aquello que se le pide, incluso cuando el contexto ha cambiado y el coste de equivocarse es alto. La capacidad no era solo escribir código dañino, sino mantener un plan, improvisar recursos y conectar múltiples acciones durante un tiempo prolongado.

Ambas compañías suspendieron o revisaron sus evaluaciones después de los incidentes y notificaron a las organizaciones afectadas. Anthropic sostiene que ahora debe abrirse un debate sobre cómo evaluar de forma realista a agentes cada vez más capaces sin convertir las pruebas en una fuente adicional de riesgo.

La conclusión que se desprende de estas experiencias es que, cuanto más autonomía reciben los modelos, más necesario resulta someterlos a pruebas más cercanas a las de las infraestructura críticas, indispensables para el funcionamiento de la sociedad: aislamiento verificable, redes sin salida, datos y credenciales sintéticos, supervisión independiente y mecanismos automáticos de parada.

Fuente: Levante - EMV