Le bacheche dei messaggi sono tutto ciò di cui hanno bisogno

AI Research Threat Research AI AI Cybersecurity threat research

Quando Dwarkesh Patel ha pubblicato “The Rise and Fall of Agent Civilizations”, descrivendo come circa 1.200 agenti di OpenAI comunicassero attraverso bacheche condivise di messaggi su Artifactory, con circa 700 di loro che sono arrivati ad attaccare l’infrastruttura di Hugging Face, il paragone con i Borg di Star Trek è venuto spontaneo.

Oltre 70.000 messaggi e file, tre flussi di lavoro paralleli di ricerca e sviluppo (R&D) e agenti che si sacrificavano affinché i loro pari potessero avere successo davano l’impressione che una sorta di coscienza collettiva avesse improvvisamente preso vita.

Gli agenti stavano lavorando su ExploitGym, un benchmark di cybersecurity con un obiettivo in stile capture-the-flag, finalizzato a trasformare una vulnerabilità fornita in un exploit funzionante in grado di recuperare una flag protetta dall’ambiente di challenge.

Invece, hanno sviluppato uno sforzo condiviso per manipolare i sistemi che gestivano ed eseguivano la valutazione di quelle challenge, arrivando infine ad attaccare l’infrastruttura di produzione di Hugging Face nel tentativo di ottenere un risultato positivo nella valutazione.

OpenAI afferma che i classificatori di cybersecurity utilizzati in produzione sono stati disabilitati durante queste valutazioni delle capacità.

Per i responsabili della sicurezza che implementano a loro volta agenti, la preoccupazione è concreta: una collaborazione utile può estendersi oltre il lavoro che gli operatori avevano autorizzato.

Il resto dell’articolo analizza i comportamenti alla base dell’interpretazione in termini di “civiltà”, descrive ciò che gli agenti hanno effettivamente fatto e utilizza le ricerche su addestramento, memoria condivisa e comportamento di gruppo per spiegare come si sviluppino questi schemi. La sezione finale trae alcune considerazioni utili per mantenere la collaborazione tra agenti entro limiti definiti.

Leggi tutto l’articolo: https://www.sophos.com/en-us/blog/ai-research-messageboards

Informazioni sull'autore

Nash Borges

Nash Borges is Senior Vice President of AI, Engineering, and Threat Research at Sophos, where he leads the engineering and data science teams behind Sophos Fusion XDR/ITDR, its AI/ML/agentic R&D teams, SophosLabs, and the Counter Threat Unit (CTU).

He joined Sophos through its 2025 acquisition of Secureworks, where he led the global engineering and AI organization that built the Taegis platform from the ground up. Before that he spent 18 years at the National Security Agency, which recruited him out of high school. He began as a wireless and mobile-device penetration tester and later, as a data scientist/engineer, built and operated large-scale systems that paired machine learning with human expertise to find important needles in immense haystacks.

Nash holds a B.S. in Electrical Engineering and Mathematics from Tufts University and an M.S.E. and Ph.D. in Electrical and Computer Engineering from Johns Hopkins University, where his research focused on machine learning and anomaly detection.