Cuando la IA no sabe que el objetivo es real

Hace una semana, escribí sobre cómo el agente de prueba de OpenAI se escapó de un entorno de pruebas y accedió a la infraestructura de producción de Hugging Face. Mi argumento entonces era que se trataba más de un caso de contención que de un ataque, y que los fundamentos de ciberseguridad en los que hemos confiado durante tres décadas siguen siendo decisivos para el resultado. Ayer, Anthropic publicó su propia versión del mismo problema, y las lecciones siguen siendo las mismas.

Tras la revelación de OpenAI, Anthropic revisó 141 006 ejecuciones de evaluación en las que era posible que un modelo hubiera llegado a Internet. La revisión reveló tres incidentes en los que Claude traspasó los límites previstos de un entorno de pruebas y comprometió los sistemas de producción reales de tres organizaciones diferentes. El primer incidente se produjo en abril de 2026. Anthropic detectó la actividad al revisar sus propias transcripciones y se puso en contacto con las víctimas.

La diferencia clave con respecto a la intrusión en Hugging Face es que Anthropic detectó esta actividad mediante una auditoría interna y reveló la información. Se trata de un comportamiento responsable que genera confianza, aunque el plazo de respuesta deja margen de mejora.

La misma historia de contención, pero con más pruebas

A diferencia de cómo el agente de OpenAI aprovechó una vulnerabilidad de día cero para escapar del entorno aislado, los incidentes de Anthropic se debieron a una falta de comunicación y a una configuración errónea. A Claude se le planteó un reto de «captura la bandera»: un escenario ficticio, un secreto que debía recuperar de otra máquina y ningún método preestablecido. La indicación le decía al modelo que no tenía acceso a Internet, pero sí lo tenía debido a una configuración errónea. Cuando la búsqueda de la bandera llevó al modelo a Internet, este consideró que los sistemas reales que encontró formaban parte del ejercicio y los atacó.

Los ataques aprovecharon deficiencias comunes, como contraseñas débiles, endpoints sin autenticar, una página de depuración expuesta y credenciales reutilizadas. En un incidente, el modelo extrajo credenciales de aplicaciones e infraestructura y accedió a una base de datos que contenía varios cientos de filas de datos de producción. No hubo ninguna vulnerabilidad nueva ni de día cero. Para reiterar lo que dije en la última entrada, las tácticas, técnicas y procedimientos (TTP) no varían dependiendo de si al otro lado de la conexión hay un agente de IA o una persona. Los controles que detienen a uno, detienen al otro.

Anthropic llegó a la misma conclusión, afirmando que «los entornos de evaluación que implican potentes capacidades autónomas también requieren controles significativos… [y] cada vez es más necesario que se les aplique el mismo estándar de seguridad que a cualquier otro sistema en el que se ejecute [un modelo]». Un conjunto de escenarios ficticios puede parecer de bajo riesgo porque nada de lo que hay en ellos es real, pero un modelo no puede distinguir la diferencia si se sale de ese conjunto.

La novedad

Uno de los tres incidentes documentados por Anthropic fue un ataque a la cadena de suministro que el modelo inventó por su cuenta.

Dentro del entorno de pruebas, Claude encontró un documento en el que se indicaba a los desarrolladores que instalaran un paquete de Python que no existía en el registro público de PyPI. Claude «decidió» crear una versión maliciosa de ese paquete que se descargara y ejecutara automáticamente en el entorno de pruebas. Se tomó muchas molestias para crear una dirección de correo electrónico y registrar una cuenta, y luego subió el malware al registro público real. El paquete estuvo activo durante aproximadamente una hora y se descargó en 15 sistemas legítimos.

Uno de esos sistemas era el escáner de una empresa de seguridad que instala y analiza habitualmente paquetes de PyPI. El código de Claude se ejecutó al instalar el paquete malicioso, sustrayendo credenciales y utilizándolas para moverse lateralmente por la red de la empresa. Los detalles no están claros, pero el acceso a una infraestructura con privilegios puede provocar un compromiso generalizado. Al igual que Hugging Face, esta empresa no era el objetivo directo, sino una víctima involuntaria de una IA demasiado entusiasta.

Esta incapacidad para diferenciar entre objetivos autorizados y no autorizados es la preocupación que planteé en la publicación sobre Hugging Face. Autorizar a un modelo para que ataque un objetivo no limita adónde puede llegar. Anthropic autorizó una evaluación y acabó con un paquete activo en un registro público que afectó a 15 sistemas. Si diriges un agente hacia tus propios sistemas para realizar pruebas ofensivas, este podría ir a por tus proveedores sin su permiso ni el tuyo. Asume que un agente autónomo tiene acceso a todo Internet hasta que tu sistema de contención demuestre lo contrario.

La conciencia situacional como elemento de seguridad

Los tres incidentes involucraron a tres modelos diferentes, y se comportaron de forma distinta una vez que aparecieron señales del mundo real. Incluso después de que el modelo más antiguo, Opus 4.7, se diera cuenta de que había llegado a los sistemas de producción, siguió atacando. Mythos 5 razonó que estaba en Internet abierto, pero luego se convenció a sí mismo de que se trataba de una simulación. El modelo interno más reciente se detuvo por sí solo tras concluir que el objetivo era real.

Las barreras de seguridad, la alineación y la contención han pasado de ser un problema de investigación ajeno a convertirse en preocupaciones de seguridad operativa. Aunque siempre debemos esforzarnos por implementar controles determinísticos siempre que podamos, no debemos descartar el valor para la seguridad que aportan las barreras de seguridad de los modelos y las indicaciones del sistema. Pueden proporcionar una defensa en profundidad. Es alentador que los modelos más avanzados mostraran un comportamiento «mejorado» en este escenario.

Moraleja

Nada de lo revelado por Anthropic cambia la estrategia defensiva. Reduce y supervisa tu superficie de ataque. Bloquea técnicas, no solo las vulnerabilidades reveladas. Haz de la identidad un control principal, porque las credenciales robadas válidas son un atajo tan útil para una máquina como para una persona. Aplica la contención desde el diseño y asume que el alcance de un agente se extiende a todo lo que pueda tocar, incluidos tus proveedores. Ensaya una respuesta que funcione a la velocidad de una máquina, porque nuestra investigación sobre los ataques acelerados por IA muestra que las herramientas ahora llegan en días en lugar de semanas.

Para saber más sobre cómo pensamos que hay que defenderse de los adversarios automáticos, lee el informe Sophos AI Security 2026.