Quando l’“attaccante” è un agente di intelligenza artificiale

La scorsa settimana, Hugging Face ha reso noto un incidente di sicurezza di un tipo completamente nuovo: un’intrusione condotta dall’inizio alla fine da un agente di intelligenza artificiale autonomo.

Pochi giorni dopo, OpenAI ha chiarito che l’“attaccante” era in realtà un proprio agente di test. Due dei suoi modelli più recenti, con i meccanismi di sicurezza deliberatamente allentati per valutarne le massime capacità offensive in ambito cyber, hanno stabilito che il modo più semplice per superare il test fosse… barare. Immaginate uno studente che ruba il foglio delle risposte dell’insegnante, con la differenza che questo studente è anche in grado di individuare vulnerabilità zero-day. I modelli sono riusciti a evadere da un ambiente di ricerca isolato (sandbox) sfruttando una vulnerabilità zero-day, hanno raggiunto Internet aperta e hanno concatenato credenziali rubate e ulteriori exploit per accedere all’infrastruttura di produzione di Hugging Face, dove erano conservate le risposte.

Questo episodio chiude un dibattito: l’intelligenza artificiale è in grado di hackerare. Ha individuato autonomamente vulnerabilità zero-day e le ha concatenate in un attacco contro un’infrastruttura di produzione di terze parti, dimostrando che i modelli sono capaci di condurre un’intrusione completa, end-to-end.

Detto questo, nessuno aveva l’obiettivo di colpire Hugging Face in modo specifico. Si trattava di un modello di frontiera progettato e testato per massimizzarne le capacità di hacking. Imbrogliare la valutazione rappresentava la forma più pura di reward hacking: ottimizzare il risultato del test invece di svolgere il compito previsto. Non è una novità: METR ha ripetutamente osservato modelli che sfruttano falle nelle procedure di valutazione per migliorare artificialmente i risultati dei benchmark. In questo caso, però, il modello non si è limitato a uscire dalla sandbox: ha scoperto che l’isolamento attorno a sé era più debole di quanto tutti ritenessero e ha trasformato il reward hacking in un’intrusione reale.

Si tratta quindi più di una storia sul contenimento che sull’attaccante. Ma rappresenta anche il miglior esempio reale visto finora di un attacco autonomo completo, con importanti insegnamenti.

Cosa insegna questo incidente ai difensori della cybersecurity

Le tattiche, le tecniche e le procedure (TTP) utilizzate non erano nuove. L’intelligenza artificiale non ha cambiato il modo in cui avviene uno sfruttamento di vulnerabilità: un criminale sfrutta una falla, ruba credenziali e le riutilizza per muoversi lateralmente all’interno dell’infrastruttura. È proprio per questo che tre discipline della sicurezza, consolidate da oltre trent’anni, continuano a dimostrarsi efficaci anche contro un avversario rappresentato da una macchina:

• Bloccare le tecniche di sfruttamento, invece di limitarsi a rincorrere le singole CVE da correggere: una vulnerabilità zero-day attiva gli stessi controlli di una vulnerabilità già nota.
• Considerare l’identità come una superficie di controllo primaria: credenziali valide rubate rappresentano per un agente AI la stessa scorciatoia che rappresentano per un attaccante umano.
• Ridurre la superficie d’attacco: meno percorsi esistono tra un ambiente sensibile e Internet, meno vulnerabilità zero-day vale la pena cercare.

Sorprendentemente, conta poco che dall’altra parte della connessione ci sia un essere umano o un’intelligenza artificiale.

L’attacco è stato rumoroso. È stato rilevato dai sistemi di individuazione già presenti. Questo è coerente con quanto emerge dal nostro report AI Security 2026. Gli stessi segnali consentono di individuare sia gli intrusi umani sia quelli basati sull’AI; ciò che cambia è la velocità con cui gli attacchi vengono condotti. All’inizio di quest’anno, i nostri analisti hanno individuato un aggressore che utilizzava una dozzina di agenti AI per testare tecniche di evasione delle soluzioni di Endpoint Detection and Response (EDR). In pochi giorni, anziché in settimane, sono stati sviluppati quasi 80 moduli in grado di testare oltre 70 tecniche differenti.

L’aspetto più importante è capire se l’AI sia in grado di restare invisibile: è la furtività a trasformare una semplice capacità tecnica in un reale impatto sul business. Ottenere questo livello di invisibilità è però difficile. Non esiste un corpus pubblico di tecniche di stealth su cui addestrare i modelli e, inoltre, nei cicli di apprendimento basati sul codice non esiste alcun incentivo che premi il fatto di non essere scoperti.

Guardrail, allineamento (alignment) e contenimento stanno diventando temi centrali della cybersecurity. Hugging Face ha incontrato difficoltà nell’utilizzare i modelli di frontiera occidentali per rispondere a questo attacco, poiché tali modelli incorporavano meccanismi di sicurezza che impedivano l’analisi e la ricostruzione forense del codice malevolo. Gli incident responder hanno quindi scelto di utilizzare un modello open-weight. È paradossale: lo scenario che molti prevedevano era quello in cui i modelli open-weight sarebbero stati utilizzati per attaccare, mentre i modelli di frontiera a pesi chiusi (closed-weight) sarebbero stati impiegati per la difesa.

L’allineamento non è un problema che riguarda soltanto i laboratori che sviluppano modelli di frontiera. Pensiamo, ad esempio, all’utilizzo dell’intelligenza artificiale per i test di sicurezza offensiva (un’attività che presto diventerà comune). Autorizzare un modello ad attaccare il proprio ambiente non significa limitarne automaticamente il raggio d’azione. OpenAI aveva autorizzato un test in sandbox, non un’intrusione nei sistemi di Hugging Face. Ma il modello non ha colto la differenza. Se si indirizza un agente AI verso i propri sistemi, questo potrebbe prendere di mira anche i fornitori dell’organizzazione senza averne l’autorizzazione.

Dove ci porta tutto questo

I principi fondamentali della cybersecurity continuano a determinare l’esito finale. Ridurre la superficie d’attacco. Bloccare le tecniche di sfruttamento, non solo le singole CVE. Considerare l’identità come un controllo primario. Progettare il contenimento fin dall’inizio, testare la resilienza e preparare procedure di risposta in grado di operare rapidamente. Queste pratiche hanno dimostrato la loro efficacia contro gli attaccanti umani e questo incidente rappresenta una delle prime prove concrete che funzionano anche contro avversari basati sull’intelligenza artificiale.

Per ulteriori approfondimenti sull’intelligenza artificiale, leggete il report Sophos AI Security 2026.