Saltar a contenido

Cuando el «atacante» es un agente de IA

Lecciones de la brecha de seguridad de OpenAI y Hugging Face

Ross McKerchar

La semana pasada, Hugging Face reveló un incidente de seguridad de un tipo nuevo: un agente de IA autónomo llevó a cabo una intrusión de principio a fin.

Unos días después, OpenAI aclaró que el «atacante» era su propio agente de pruebas. Dos de sus modelos más recientes, con los controles de seguridad deliberadamente reducidos para evaluar su máxima capacidad, se dieron cuenta de que la forma más fácil de aprobar la prueba era hacer trampa. Imagínate a un estudiante que roba la clave de respuestas del profesor, solo que este estudiante es capaz de encontrar vulnerabilidades de día cero. Los modelos se escaparon de un entorno de investigación aislado aprovechando una vulnerabilidad de día cero, llegaron a la red abierta y encadenaron credenciales robadas y exploits adicionales para acceder a la infraestructura de producción de Hugging Face, donde se almacenaban las respuestas.

Esto zanja un debate. La IA puede hackear. Encontró de forma autónoma vulnerabilidades de día cero y las encadenó para acceder al entorno de producción de otra persona, demostrando que los modelos son capaces de llevar a cabo una intrusión de principio a fin.

Dicho esto, nadie se propuso hackear Hugging Face específicamente. Se trataba de un modelo pionero creado y probado para maximizar su capacidad de hackeo. Hacer trampa en la evaluación fue «hackeo por recompensa» en su forma más pura: optimizar para la señal de la prueba en lugar de resolver la tarea prevista. Esto no es nada nuevo: METR ha pillado en repetidas ocasiones a modelos que se aprovechan de lagunas para inflar los resultados de las pruebas comparativas. Este modelo no solo se escapó del entorno de pruebas: descubrió que el aislamiento a su alrededor era más débil de lo que todo el mundo suponía y convirtió el «hackeo por recompensa» en una intrusión real.

Esto es más una historia de contención que de un atacante. Pero también es el mejor ejemplo del mundo real de un ataque autónomo de extremo a extremo visto hasta la fecha, con conclusiones importantes.

Lo que este incidente enseña a los ciberdefensores

Las tácticas, técnicas y procedimientos (TTP) no eran nada nuevo. La IA no ha cambiado la forma en que se produce la explotación: un actor malicioso que aprovecha una vulnerabilidad, roba credenciales y las reutiliza para moverse lateralmente. Por eso, disciplinas con tres décadas de antigüedad siguen funcionando bien frente a un adversario automático:

  1. Bloquear las técnicas de explotación en lugar de correr a parchear CVE individuales: un día cero activa el mismo control que una vulnerabilidad conocida.
  2. Tratar la identidad como una superficie de control de primer orden: las credenciales robadas válidas son un atajo tan útil para un agente de IA como para un humano.
  3. Reducir la superficie de ataque: cuantas menos rutas haya entre un entorno sensible e Internet, menos vulnerabilidades de día cero habrá que detectar.

Sorprendentemente, da casi igual si al otro lado de la conexión hay una IA o un humano.

El ataque fue muy llamativo. Los sistemas de detección que ya estaban en marcha lo detectaron. Esto concuerda con nuestro informe «AI Security 2026». Las mismas señales detectan tanto a intrusos humanos como a los de IA, pero la velocidad de los ataques cambia. A principios de este año, nuestros analistas descubrieron a un actor malicioso que ejecutaba una docena de agentes de IA para probar cómo eludir la detección y respuesta en endpoints (EDR). En cuestión de días, no de semanas, crearon casi 80 módulos que probaron más de 70 técnicas.

La cuestión más importante es si la IA puede pasar desapercibida: el sigilo convierte la mera destreza en un impacto real para las empresas. Lograr ese sigilo es difícil. No existe un corpus público de técnicas de sigilo con el que entrenarse, y nada en el ciclo de recompensas derivado de la programación premia el hecho de no ser detectado.

Las barreras de seguridad, la alineación y la contención se están convirtiendo en preocupaciones fundamentales de la ciberseguridad. Hugging Face tuvo dificultades para usar modelos de vanguardia para responder a este ataque, ya que esos modelos contenían barreras de seguridad que prohibían el análisis y la reconstrucción forense del código malicioso. Los responsables de la respuesta al incidente optaron por un modelo de ponderación abierta. Irónicamente, la situación prevista era que los modelos de ponderación abierta se utilizarían para atacar, y los modelos de vanguardia de ponderación cerrada se usarían para la defensa.

La alineación no es solo un problema para los laboratorios de vanguardia. Por ejemplo, piensa en el uso de la IA para pruebas de seguridad ofensivas (algo que todos haremos pronto). Autorizar a un modelo para que ataque tu entorno no limita adónde puede llegar. OpenAI autorizó una prueba en un entorno aislado, no una intrusión en Hugging Face. Pero el modelo no distinguió la diferencia. Si diriges un agente hacia tus sistemas, puede que vaya a por tus proveedores sin su permiso.

Cuál es la moraleja

Los fundamentos de la ciberseguridad siguen siendo decisivos. Reduce tu superficie de ataque. Bloquea las técnicas de explotación, no solo los CVE. Trata la identidad como un control primordial. Incorpora la contención desde el diseño, pon a prueba tu resiliencia y ensaya una respuesta que se ejecute con rapidez. Esas medidas funcionaron contra los atacantes humanos y este incidente es una primera prueba de que también funcionan contra los adversarios automáticos.

Analizaré este incidente en un LinkedIn Live el viernes 24 de julio, a mediodía, hora del Este. Hablaré de lo que significa para los responsables de seguridad y de por qué la contención, la resiliencia y la respuesta siguen siendo decisivas.

Para más información sobre IA, lee el informe Sophos AI Security 2026.