Mostrare, non raccontare: Sophos AI a CAMLIS

Per il quarto anno consecutivo, Sophos AI presenterà nuove ricerche alla Conference on Applied Machine Learning in Information Security. Il 23 ottobre, Tamás Nyiri, Senior AI/ML Engineer, condurrà una sessione poster dal titolo “Show, Don’t Tell: Calibrating Agentic SOC Analysts via Hierarchical Evidence Graphs” (Mostrare, non raccontare: calibrare gli analisti SOC basati su agenti attraverso grafi gerarchici delle evidenze).

Questa ricerca trasforma le tracce generate durante le indagini condotte dagli agenti in caratteristiche utilizzabili da un modello tradizionale di machine learning. Il modello contribuisce a calibrare i verdetti dell’agente e a individuare i casi in cui è più probabile che abbia commesso un errore.

Una questione di fatti

I SOC ricorrono sempre più spesso ad agenti di IA per indagare sugli avvisi di sicurezza. Questi agenti estraggono entità e informazioni contestuali collegate agli avvisi, pianificano le fasi dell’indagine, interrogano gli strumenti disponibili e producono report contenenti il verdetto finale.

Sebbene questi agenti possano far risparmiare tempo agli analisti, possono anche commettere errori, sia prevedibili sia sorprendenti. Un agente potrebbe considerare un controllo non riuscito o non eseguito come prova dell’assenza di problemi, collegare eventi semplicemente perché si sono verificati a breve distanza temporale, giudicare un programma di installazione legittimo o uno strumento per sviluppatori basandosi esclusivamente sul suo comportamento oppure chiudere prematuramente un caso.

Questi errori possono essere difficili da individuare, soprattutto perché i report tendono a presentare ricostruzioni convincenti e sicure, mentre le evidenze su cui si basano sono nascoste all’interno di lunghe tracce investigative.

Per affrontare questa sfida, Tamás ha sviluppato un approccio che porta l’agente investigativo a mostrare le proprie evidenze. In primo luogo, le fasi dell’indagine vengono convertite in un grafico dei fatti (fact graph), senza includere il report e il verdetto dell’agente.

I campi strutturati delle tracce vengono analizzati, mentre un modello linguistico di grandi dimensioni (LLM) estrae il significato dal testo libero seguendo uno schema predefinito. Il grafico registra ciò che è stato osservato, le chiamate agli strumenti che non sono andate a buon fine e le relazioni tra le diverse entità. Inoltre, individua le informazioni mancanti, come le spiegazioni alternative che non sono state esaminate e le fonti che non sono state interrogate.

Il grafico dei fatti è utile anche di per sé, ma in questo caso costituisce la base per tre diverse prospettive di analisi delle evidenze:

• Copertura (Coverage): sono stati effettivamente eseguiti tutti i controlli necessari?
• Contesto (Context): gli eventi sono collegati alle entità corrette ed esiste una spiegazione legittima per quanto osservato?
• Adeguatezza (Readiness): le evidenze sono sufficienti a giustificare una decisione?

Le caratteristiche ricavate da queste tre prospettive alimentano un semplice modello supervisionato, che stima la probabilità che un revisore senior non concordi con il verdetto dell’agente.

I risultati parlano chiaro

Le etichette utilizzate per l’addestramento derivano da un processo di revisione umana in due fasi. In primo luogo, un analista esamina ciascuna indagine condotta dall’agente e formula un verdetto; successivamente, un analista senior esamina entrambi i risultati e stabilisce il verdetto definitivo, che viene utilizzato come riferimento (ground truth).

Il modello è una regressione logistica regolarizzata, addestrata separatamente per rispondere a tre domande con risposta sì o no:

1. L’indagine è conclusiva?
2. L’avviso iniziale è un vero positivo?
3. Il contenuto sottostante è effettivamente di natura malevola?

Oltre alle caratteristiche relative alle evidenze, il modello utilizza il verdetto dell’agente come informazione preliminare (prior), basandosi sulla frequenza con cui i revisori hanno concordato con quel verdetto nei casi di addestramento.

Questo approccio è necessario perché l’assegnazione delle etichette è costosa e, con le dimensioni attuali del campione di addestramento, il rischio di overfitting è inevitabile. Ciascuno dei 314 casi viene quindi valutato da un modello addestrato sugli altri 313, mediante una procedura di leave-one-out cross-validation (convalida incrociata leave-one-out). In questo modo, nessun caso contribuisce all'addestramento del modello che assegna il proprio punteggio.

La ricerca è ancora in fase di proof of concept, con numerosi miglioramenti previsti, ma anche questa versione preliminare mostra risultati incoraggianti. Ordinando i casi in base al punteggio del modello che misura il disaccordo atteso, gli errori degli agenti sono emersi più rapidamente, raggiungendo le prime posizioni nella coda di revisione.

Il revisore senior ha modificato il verdetto dell’agente nel 25% di tutti i casi, ma nel 65% dei 20 casi con il punteggio più alto: una frequenza circa 2,6 volte superiore rispetto al tasso di base.

Durante la sessione, Tamás illustrerà la metodologia, un esempio di grafico dei fatti ricavato da un caso reale e le lezioni apprese durante lo sviluppo della ricerca.

Se partecipate a CAMLIS, potete fermarvi da Tamás per confrontarvi su questo nuovo filone di ricerca e condividere le vostre osservazioni. Nei prossimi mesi sono previsti ulteriori approfondimenti su questo approccio.