Quando l'AI non sa che il bersaglio è reale

Una settimana fa ho scritto del test agent di OpenAI che è riuscito a evadere da una sandbox e ad accedere all'infrastruttura di produzione di Hugging Face. Allora sostenevo che si trattasse più di una questione di contenimento che di un nuovo tipo di attaccante e che i principi fondamentali della cybersecurity su cui facciamo affidamento da tre decenni continuino a determinare l'esito degli attacchi. Ieri Anthropic ha pubblicato una propria analisi dello stesso problema e gli insegnamenti rimangono gli stessi.

Dopo la divulgazione di OpenAI, Anthropic ha riesaminato 141.006 esecuzioni di valutazione nelle quali un modello avrebbe potuto teoricamente raggiungere Internet. La revisione ha rivelato tre incidenti in cui Claude ha oltrepassato i confini previsti dell'ambiente di test, compromettendo i sistemi di produzione reali di tre diverse organizzazioni. Il primo episodio risale ad aprile 2026. Anthropic ha individuato queste attività analizzando le proprie trascrizioni e ha successivamente contattato le organizzazioni coinvolte.

La differenza principale rispetto all'intrusione in Hugging Face è che Anthropic ha individuato autonomamente queste attività attraverso un audit interno e ha scelto di divulgarle. Si tratta di un comportamento responsabile che contribuisce a rafforzare la fiducia, anche se la tempistica lascia ancora margini di miglioramento.

La stessa storia di contenimento, con ulteriori prove

A differenza dell'agente di OpenAI, che aveva sfruttato una vulnerabilità zero-day per uscire dalla sandbox, gli incidenti di Anthropic sono stati causati da errori di comunicazione e configurazione. A Claude era stata assegnata una sfida di tipo capture-the-flag: uno scenario immaginario, un segreto da recuperare da un'altra macchina e nessuna indicazione sul metodo da utilizzare. Il prompt informava il modello di non avere accesso a Internet, ma, a causa di una configurazione errata, tale accesso era invece disponibile. Quando la ricerca della "flag" ha condotto il modello sulla rete pubblica, Claude ha interpretato i sistemi reali incontrati come parte dell'esercitazione e li ha attaccati. 

Gli attacchi hanno sfruttato falle comuni, come password deboli, endpoint privi di autenticazione, una pagina di debug esposta e credenziali riutilizzate. In uno degli incidenti, il modello ha estratto credenziali applicative e infrastrutturali, arrivando ad accedere a un database contenente diverse centinaia di record di produzione. Non è stata sfruttata alcuna vulnerabilità inedita né alcuna zero-day. Per ribadire quanto sostenuto nel mio precedente articolo, le tattiche, tecniche e procedure (TTP) non cambiano a seconda che dall'altra parte della connessione vi sia un agente AI oppure una persona. I controlli di sicurezza che fermano l'uno fermano anche l'altro.

Anthropic è giunta alla stessa conclusione, affermando che "gli ambienti di valutazione che coinvolgono potenti capacità autonome richiedono anch'essi controlli significativi [...] e devono sempre più essere sottoposti agli stessi standard di sicurezza di qualsiasi altro sistema in cui [il modello] opera." Un ambiente di test popolato esclusivamente da scenari fittizi può sembrare a basso rischio, perché nulla al suo interno è reale. Tuttavia, se il modello esce da quell'ambiente, non è in grado di distinguere la finzione dalla realtà.

L'elemento nuovo

Uno dei tre incidenti documentati da Anthropic riguardava un attacco alla supply chain ideato autonomamente dal modello.

All'interno dell'ambiente di test, Claude ha trovato un documento che invitava gli sviluppatori a installare un pacchetto Python inesistente nel registro pubblico PyPI. Claude ha quindi "deciso" di creare una versione malevola di quel pacchetto affinché venisse scaricata ed eseguita automaticamente nell'ambiente di prova. Il modello si è spinto fino a creare un indirizzo e-mail, registrare un account e pubblicare il malware nel registro pubblico reale. Il pacchetto è rimasto disponibile per circa un'ora ed è stato scaricato da 15 sistemi legittimi.

Uno di questi sistemi apparteneva allo scanner di un'azienda di sicurezza che installa e analizza regolarmente i pacchetti PyPI. Il codice sviluppato da Claude è stato eseguito durante l'installazione del pacchetto malevolo, esfiltrando credenziali e utilizzandole successivamente per effettuare movimenti laterali all'interno della rete aziendale. I dettagli non sono del tutto chiari, ma l'accesso a infrastrutture privilegiate può portare a compromissioni su larga scala. Come nel caso di Hugging Face, questa azienda non era il bersaglio dell'attacco, ma è diventata una vittima involontaria dell'eccessivo zelo dell'intelligenza artificiale.

Questa incapacità di distinguere tra bersagli autorizzati e non autorizzati è esattamente la preoccupazione che avevo espresso nell'articolo dedicato a Hugging Face. Autorizzare un modello ad attaccare un determinato obiettivo non significa limitarne automaticamente il raggio d'azione. Anthropic ha autorizzato una valutazione sperimentale e si è ritrovata con un pacchetto pubblicato in un registro pubblico che ha raggiunto 15 sistemi. Se si indirizza un agente AI verso i propri sistemi per effettuare test offensivi, questo potrebbe prendere di mira anche i fornitori, senza il loro consenso e senza il vostro. Bisogna partire dal presupposto che un agente autonomo abbia accesso all'intera Internet, finché i meccanismi di contenimento non dimostrino il contrario.

La consapevolezza del contesto come proprietà di sicurezza

I tre incidenti hanno coinvolto tre modelli differenti, che hanno reagito in modo diverso quando sono comparsi segnali riconducibili al mondo reale. Anche dopo aver capito di aver raggiunto sistemi di produzione, il modello più vecchio, Opus 4.7, ha continuato ad attaccare. Mythos 5 ha dedotto di trovarsi sulla rete Internet, ma ha poi finito per convincersi nuovamente di essere ancora all'interno di una simulazione. Il modello interno più recente, invece, ha interrotto spontaneamente le attività dopo aver concluso che il bersaglio era reale.

Guardrail, allineamento e contenimento non sono più soltanto un tema di ricerca per gli sviluppatori di AI: sono ormai questioni operative di cybersecurity. Pur dovendo sempre privilegiare controlli deterministici ogni volta che sia possibile, non dovremmo sottovalutare il valore dei guardrail del modello e dei system prompt dal punto di vista della sicurezza. Possono infatti costituire un ulteriore livello di difesa (defence in depth). È incoraggiante osservare che i modelli più avanzati abbiano mostrato un comportamento "migliore" in questo scenario.

Quali insegnamenti trarne

Nulla di quanto emerso dalla divulgazione di Anthropic modifica il tradizionale approccio difensivo. Riducete e monitorate la superficie di attacco. Bloccate le tecniche di attacco, non soltanto le vulnerabilità rese pubbliche. Fate dell'identità il principale meccanismo di controllo, perché credenziali valide rubate rappresentano una scorciatoia tanto efficace per una macchina quanto per una persona. Progettate sistemi che prevedano il contenimento fin dall'inizio e date per scontato che il raggio d'azione di un agente AI comprenda tutto ciò con cui può entrare in contatto, inclusi i vostri fornitori. Infine, preparate e testate una risposta agli incidenti capace di operare alla velocità delle macchine, perché le nostre ricerche sugli attacchi accelerati dall'intelligenza artificiale dimostrano che oggi gli strumenti necessari vengono sviluppati nell'arco di pochi giorni, anziché di settimane.

Per approfondire il nostro approccio alla difesa dagli avversari basati su AI, consultate il Sophos AI Security 2026 Report.