Analisi dettagliata delle cause principali del falso positivo "shh/updater-b"

October 4, 2012

Introduzione

Il 19 settembre 2012, alle ore 20:02 UTC, Sophos ha rilasciato un aggiornamento delle regole di rilevamento tramite file "IDE" che ha causato il generarsi di molti falsi allarmi nei computer e nelle console di gestione Sophos dei nostri clienti. Questi falsi allarmi hanno inoltre impedito l'aggiornamento dei nostri prodotti e di altri software presenti nei sistemi colpiti.

L’impegno costante di Sophos è quello di concentrare tutte le proprie forze nel mantenere i più alti standard di settore per quanto concerne la qualità dei prodotti, il supporto alla clientela e la protezione fornita ai clienti. Questa particolare circostanza ha rappresentato una grave mancanza nei nostri processi di verifica degli standard di qualità definiti e di rilascio dei prodotti, con ripercussioni sui nostri clienti e partner.

Questo documento ha l'obiettivo di spiegare come si sia verificato questo particolare evento e quali cambiamenti Sophos ha già implementato e implementerà nell'immediato futuro per migliorare i controlli di qualità, i test e i processi di rilascio, oltre che per avere la certezza che una situazione simile non si verifichi più.

Impatto sui Clienti

I clienti colpiti da questo problema possono essere suddivisi in due categorie generali: 1) Coloro i quali, al momento del rilascio dell’aggiornamento, stavano eseguendo la versione corrente di Sophos Endpoint con le impostazioni predefinite per il cleanup e Live Protection attiva, e 2) Coloro i quali stavano eseguendo Sophos Endpoint con Live Protection non attiva, o con modifiche apportate alle impostazioni predefinite.

Categoria 1

I clienti che eseguivano, al momento dell'accaduto, i prodotti Sophos per computer endpoint con le impostazioni predefinite "Nega solo l'accesso" e "Attiva Live Protection" sono quelli che hanno riscontrato il minor numero di problemi; è stato infatti possibile ripristinare in breve tempo sia l'installazione di Sophos che le third-party application colpite. L'impatto principale sui clienti che appartengono a questa categoria consiste nell’aver dovuto impiegare tempo a rimuovere un numero elevato di allarmi dai log degli eventi, oltre che rispondere ai quesiti degli utenti finali sull'improvvisa presenza di falsi allarmi nei loro computer.

Categoria 2

Negli ambienti informatici dei clienti appartenenti a questa categoria, i falsi allarmi hanno richiesto azioni di ripristino in tutti i computer endpoint coinvolti per poter riportare al normale funzionamento sia i software Sophos che le third-party application colpite. Per molti dei nostri clienti e partner ciò si è tradotto in un carico di lavoro aggiuntivo necessario per risolvere il problema presentatosi e, in alcuni casi, sono state rilevate ripercussioni anche su altri sistemi e software (per es. Java, Adobe Acrobat, Google Chrome, ecc.).

I clienti senza Live Protection attiva, hanno dovuto attivarla, oltre che apportare modifiche a Sophos Update Manager per poter risolvere questo problema. In alcuni casi gli amministratori hanno dovuto operare direttamente su tutti i computer colpiti.

I clienti che avevano selezionato, al momento dell'accaduto, le azioni non predefinite "Sposta" o "Cancella" nei criteri di disinfezione per computer endpoint hanno subito ripercussioni importanti, dal momento che Sophos Endpoint non è più riuscito ad aggiornarsi in modo corretto. Inoltre molte third-party application sono state colpite. Abbiamo fornito tool di supporto per il processo di ripristino, ma tale ripristino ha comunque richiesto l'esecuzione dei tool in tutti i computer endpoint colpiti.

Informazioni di background

L'agente di protezione per endpoint di Sophos include un motore per il rilevamento delle minacce utilizzato per eseguire la scansione di file e altri contenuti alla ricerca di malware, codici sospetti, codici riconosciuti come validi, ecc. Questo motore utilizza circa 200.000 regole di rilevamento utilizzate per identificare ciò che viene rilevato e stabilire se sia necessario l'invio di allarmi. Per essere certi che Sophos riesca a individuare il malware di ultima generazione, gli exploit e le applicazioni legittime, le regole di rilevamento vengono aggiornate frequentemente, di solito rilasciando un file IDE contenente più aggiornamenti. Queste regole entrano in contatto con diversi "operatori" nel motore di rilevamento e, nel caso si dia avvio a un rilevamento, sono svariate le azioni che possono essere intraprese (per es. identificazione degli elementi necessari per la disinfezione, invio dei dati rilevati da Live Protection a Sophos, invio di allarmi agli utenti finali o alla console, ecc.). Il motore di rilevamento Sophos è stato progettato in modo tale da non dipendere da alcuna piattaforma; in questo modo tutte le forme di malware possono essere rilevate in tutti i sistemi operativi (Windows, Linux, UNIX, Mac).

Di prassi Sophos rilascia una nuova versione dell'agente di protezione per endpoint, e del relativo motore di rilevamento delle minacce, una volta al mese, oltre che pubblicare aggiornamenti alle regole tramite file IDE più volte al giorno per proteggere in modo efficace i clienti dal flusso continuo di nuovo malware. I SophosLabs identificano giornalmente una media di 180.000 nuovi virus o malware. In una giornata tipo di 24 ore, Sophos rilascia sei file IDE, sebbene questo valore vari a seconda del livello di priorità delle minacce o in base al panorama generale delle minacce in circolazione. Sophos esegue test dettagliati sulle nuove versioni dei software, per ogni aggiornamento del motore di rilevamento, oltre che per ogni aggiornamento delle regole (IDE) prima di metterle a disposizione dei clienti.

Come per tutti gli aggiornamenti di software e dati, sussiste sempre una percentuale di rischio di errori, bug e difetti. Consapevole di questo, Sophos esegue un numero importante di test automatizzati, oltre che molteplici revisioni svolte dai nostri analisti in modo tale da fornire ulteriori misure di sicurezza basate sia su controlli informatici che umani prima che qualsiasi aggiornamento delle regole venga inviato ai clienti. Tutti i rilasci di file IDE, compreso l'IDE coinvolto in questa particolare circostanza, vengono sottoposti a un processo di test suddiviso in 12 fasi. Questo processo coinvolge centinaia di computer fisici e virtuali operanti in parallelo su molteplici piattaforme (diverse versioni di Windows, Mac e Linux/UNIX), oltre che l'esecuzione di test su miliardi di file e terabyte di dati aventi lo scopo di popolare l'intero database noto delle minacce attive e delle applicazioni legittime. I test svolti riguardano l'analisi dei codici (sia automatizzata che effettuata da esperti), la validazione, le simulazioni di scansioni di grandi proporzioni, la verifica in ambienti di produzione, oltre che peer review.

Cause di questo evento e misure precauzionali implementate da Sophos per evitare il ripetersi di questa situazione

La causa iniziale di questo problema è stata identificata come un errore umano, per cui un analista Sophos ha codificato in modo errato un aggiornamento delle nostre regole di rilevamento all'interno del file IDE di aggiornamento che ha poi causato il rilevamento di falsi positivi nei prodotti Sophos Endpoint per Windows.

L'errore di codifica dell'analista sarebbe però dovuto essere rilevato o bloccato dalla nostra procedura di test in dodici fasi. In questo caso specifico, la concomitanza di un errore umano durante la revisione dei codici, un ulteriore errore nell'interpretazione dei risultati della procedura di test, oltre che una mancata corrispondenza negli ambienti di test, hanno portato ad autorizzare il rilascio del file IDE difettoso.

Le seguenti sezioni forniscono ulteriori dettagli concernenti questi fattori che vengono categorizzati in tre aree principali:

1. Modifica della regola
2. Processi di test
3. Resistenza del prodotto

1. Modifica della regola

In data 19 settembre 2012 è stata apportata una modifica alle nostre regole di rilevamento; nello specifico, la modifica ha interessato una regola avente lo scopo di controllare il volume delle ricerche di Live Protection inviate a Sophos e riguardanti i software inclusi nell'elenco di software autorizzati. La regola modificata è stata aggiunta al successivo aggiornamento IDE pianificato: AGEN-XUV.IDE. Questa regola modificata ha utilizzato un operatore, all'interno del motore di rilevamento delle minacce, che ha lo scopo di identificare il nome di rilevamento.

Questo specifico operatore del motore di rilevamento genera, però, un effetto collaterale di cui siamo al corrente e che porta all'auto-rilevamento della sua stessa presenza all'agente per endpoint di Sophos. Questo operatore è sempre stato utilizzato dai SophosLabs, soprattutto per la scrittura di regole di cleanup. Il comportamento di questo operatore è stato ampiamente documentato, tanto che gli analisti possono utilizzarlo solo se preceduto da un altro operatore distinto e diverso che informi dei rilevamenti l'agente per computer endpoint, evitando in questo modo qualsiasi effetto collaterale.

Un'ulteriore complicazione è derivata dal fatto che questa regola aggiornata ha utilizzato un operatore non supportato in determinate varianti di UNIX, quindi l'analista ha aggiunto verifiche per accertarsi che questa regola fosse valida solo per ambienti Windows. Dal momento che la regola era stata progettata per l'identificazione di software Windows legittimi, questa restrizione è stata considerata appropriata.

Oltre alla regola errata, il nuovo IDE difettoso includeva anche protezione contro alcuni campioni inviati dai clienti e una vulnerabilità di livello critico per Microsoft Internet Explorer (v. http://www.sophos.com/it-it/threat-center/threat-analyses/viruses-and-spyware/Exp~20124969-A/detailed-analysis.aspx).

Azioni consigliate

Sophos ha identificato e implementato una soluzione per la regola IDE e a breve rilascerà una versione aggiornata del motore di rilevamento delle minacce come evidenziato qui di seguito.

MISURE MESSE IN ATTO DA SOPHOS STATO
Pubblicazione della regola IDE ripristinata per tutti i sistemi di rilevamento (javab-jd.ide). check COMPLETATA
Rilascio di una nuova versione del motore di rilevamento comprendente una risoluzione per l'effetto collaterale iniziale. DA COMPLETARE ENTRO 15 OTT 2012
Verifica di tutti i difetti ed effetti collaterali noti e nuovi, oltre che controllo in peer review di tali specifiche circostanze da parte degli analisti dei SophosLabs. check COMPLETATA
Controllo e potenziamento delle verifiche automatiche delle identità, in modo tale da includere l'invio di allarmi in aree del motore di rilevamento ad alto rischio. IN CORSO

2. Processi di test

Sophos esegue test dettagliati per tutti i rilasci di soluzioni per endpoint. Questi test si concentrano sul motore di rilevamento delle minacce e sui moduli e verificano i sistemi per tutte le piattaforme supportate, oltre che in numerosi ambienti di produzione. Sophos svolge inoltre test approfonditi su tutti i file IDE prima di approvarne il rilascio. In cinque delle dodici fasi del processo di test questo file IDE difettoso sarebbe dovuto essere stato rilevato. Le diverse fasi del processo di test sono elencate nella tabella qui di seguito.

Fasi del processo di test di Sophos eseguito per tutti i rilasci o aggiornamenti di IDE Fasi del processo di test di Sophos che avrebbero dovuto bloccare il rilascio di un IDE difettoso
  • Test dei moduli da parte di un analista
  • Peer review
  • Test e avvisi del compilatore
  • Validazione di identità
  • Test positivi (verifica di rilevamenti di malware completi)
  • Wild list tests (basati sui campioni pubblicati da wildlist.org)
  • Test di rilevamento (test IDE)
  • Test delle performance
  • Test della memoria
  • Test della rimozione e cleanup
  • Test per il rilevamento di falsi positivi
  • Test di produzione
  • Test dei moduli da parte di un analista
  • Peer review
  • Validazione di identità
  • Test di rilevamento (test IDE)
  • Test per il rilevamento di falsi positivi

 

Si sono verificati problemi in ognuna delle cinque fasi di test citate nella tabella qui sopra, e ciò ha consentito al file IDE difettoso di passare tutti i test senza essere bloccato. Qui di seguito è disponibile un'analisi dettagliata di questi cinque problemi.

Test dei moduli da parte di un analista. L'analista ha utilizzato una versione nuova e non ancora rilasciata del motore di analisi delle minacce in cui l'effetto collaterale riguardante l'operatore sopra citato era già stato risolto. Per questo motivo, durante i test di sviluppo, l'analista non ha visto i report di rilevamento difettosi. Per la creazione di regole, gli analisti utilizzano sempre la versione più recente del motore di rilevamento, in modo tale da sfruttare le più recenti funzioni di sicurezza. Tutte le regole create vengono poi testate in tutte le versioni precedenti del motore di rilevamento ancora in distribuzione, come parte del processo di test.

Peer review. Come parte del processo di test, tutte le modifiche e aggiunte a qualsiasi identità, incluse le routine globali, vengono sottoposte a un processo di peer review per cui un secondo analista indipendente verifica le modifiche apportate. L'utilizzo errato dell'operatore del motore di rilevamento, oltre che le implicazioni relative al difetto del motore, combinate con la verifica Windows avrebbero dovuto essere identificate, ma a causa di un errore umano ciò non è avvenuto.

Validazione di identità. Come parte del flusso di lavoro degli analisti, le identità vengono inviate al sistema di controllo del codice sorgente di Sophos che identifica e archivia tutte le identità, le regole e le revisioni. Questo viene chiamato " Identity Database" (IDB). Durante il processo di invio a tale database, le regole e le identità nuove vengono validate generando eventuali errori e avvisi. Il processo di validazione mira a individuare errori nella sintassi dei codici, utilizzo errato degli operatori, inclusione di errori noti e altri errori di facile individuazione. Dal momento che l'operatore ha utilizzato una procedura di validazione efficace quando utilizzata in modo corretto, l'errore non è stato rilevato nel database degli errori critici e quindi non è stato segnalato come errore critico.

Test di rilevamento (test IDE). Il test IDE ha lo scopo di verificare che vengano rilevati i file adeguati dal motore di rilevamento delle minacce rilasciato e che i dati delle regole, comprendenti il file IDE candidato per il rilascio, siano inclusi. Questa fase di test è composta da 31 test distribuiti su diversi nodi di computer virtuali.

Per questo specifico test, molti dei computer virtuali avevano rilevato errori (non inerenti il test, ma i computer virtuali stessi), ed era quindi stato segnalato un errore critico. Dal momento che il rilascio di questo file IDE era stato considerato urgente (comprendeva sia la risoluzione dei campioni inviati dai clienti che una vulnerabilità di livello critico per Microsoft Internet Explorer), e che l'analista aveva considerato gli errori rilevati nei computer virtuali come dovuti a instabilità dell'hardware del sistema di test o dell'ambiente dei computer virtuali e quindi non riguardante il test stesso, gli errori critici qui rilevati non sono stati presi in considerazione. Nei risultati di questo test, il primo elemento rilevato riguardava gli errori dei computer virtuali, ma se l'analista avesse osservato i risultati con attenzione e proceduto ad analizzare gli errori nella parte bassa dello schermo, avrebbe notato i messaggi di errore che segnalavano la presenza di un'identità "Shh". L'analista non ha invece ricercato le cause di questo errore critico e non ha eseguito nuovamente questo test.

Test per il rilevamento di falsi positivi. Parallelamente al test IDE, Sophos esegue un test per l'individuazione di falsi positivi su tutti gli IDE candidati al rilascio. L'ambiente del test per il rilevamento di falsi positivi (o "rig") consiste in un numero elevato di sistemi paralleli. In questi ambienti vengono utilizzate la versione più recente rilasciata del motore di rilevamento delle minacce e le ultime regole pubblicate, a cui si aggiunge il file IDE candidato al rilascio, per eseguire la scansione di oltre 10 milioni di file "buoni" e di terabyte di dati. I file di test vengono aggiornati regolarmente e includono tutti i file dei sistemi operativi Microsoft, molte applicazioni di uso comune (quali Java, Adobe e Google Map), molte applicazioni aziendali, oltre che tutti i rilasci correnti o precedenti dei prodotti Sophos.

Il motore di rilevamento delle minacce viene compilato e supportato da più piattaforme, compresi Windows e molte varianti di Linux/UNIX. Dal momento che questo test deve essere il più completo possibile e che comporta l'utilizzo di una quantità enorme di dati, viene eseguito su server Linux. La stragrande maggioranza delle regole e identità Sophos sono multipiattaforma e possono essere eseguite nello stesso identico modo in più sistemi operativi, compresi Linux, Windows, Mac OS e UNIX. Lo scopo principale del test per il rilevamento di falsi positivi è proprio quello di individuare eventuali falsi positivi, e non di verificare il corretto funzionamento dell'IDE su più piattaforme. Questa specifica regola rappresentava uno di quei rari casi in cui l'analista scrive una regola che operi solo in ambienti Windows. Dal momento che il test del falso positivo "rig" opera solo su server Linux, non ha segnalato il falso positivo "Shh/" perché la regola contenente l'errore riguardava solo Windows.

Come già affermato, se uno solo di questi problemi non si fosse verificato, il file IDE non avrebbe passato una delle fasi di test e quindi non sarebbe stato rilasciato.

Azioni consigliate

Per essere certi che una simile catena di eventi non si verifichi più, Sophos ha già implementato o implementerà nell'immediato futuro le seguenti azioni.

MISURE MESSE IN ATTO DA SOPHOS STATO
Come policy, eseguire nuovamente tutti i test IDE nel caso sia presente un errore critico di qualsiasi tipo o un difetto di sistema. Quando un IDE deve essere ricostruito, rimuovere non solo l'identità che ha causato l'errore, ma anche tutti gli elementi il cui rilascio non è urgente. Quando si esegue nuovamente il test, includere solo gli elementi il cui rilascio è urgente, riducendo così le possibilità che il test abbia nuovamente esito negativo. Nessun test può essere passato se sussiste UN QUALSIASI errore di sistema, di tool o di test. check COMPLETATA
Implementare un ambiente di test per i falsi positivi che rispecchi le diverse piattaforme interessate, comprese Windows e Linux, in modo tale che questo test funga anche da test delle piattaforme. check COMPLETATA
Potenziare e approfondire il test per il rilevamento dei falsi positivi in termini di scala, piattaforme coperte e resistenza. check COMPLETATA
Introdurre cicli di rilasci separati per aggiornamenti delle identità urgenti e applicare procedure più generali/cambiamenti di regole. Le procedure più generali e i cambiamenti di regole devono essere sottoposti a procedure di test aggiuntive e a cicli di rilasci più ampi. check COMPLETATA
Tutte le procedure più generali e i cambiamenti di regole devono essere testati in ambienti di produzione, devono inoltre passare un test di sistema completo e comprensivo di verifiche della console di gestione e di un gruppo di endpoint di produzione interni prima che il rilascio ai clienti venga approvato. IN CORSO
Formalizzare gli obiettivi, le "ispezioni" in peer review, oltre che i criteri in entrata e uscita per tutte le fasi di test. Documentare tutti i processi e i requisiti evidenziando le differenze che intercorrono fra la fase di revisione e di "ispezione", oltre che organizzare aggiornamenti continui per lo staff dei SophosLabs sia che si tratti di nuovi dipendenti che di analisti senior. IN CORSO
Verificare e potenziare i controlli per la validazione delle identità; usufruire di un database più ricco in termini di codici di errore, e che possa coprire regole che, sebbene non generino errori, possono comunque introdurre rischi di effetti collaterali per quanto riguarda il motore di rilevamento.

IN CORSO

 

3. Resistenza del prodotto

I prodotti Sophos Endpoint sono composti da un agente e da un sistema di aggiornamenti automatici che può essere configurato in modo tale da eseguire gli aggiornamenti in modo ridondante da directory di installazione centrale, tramite Sophos Update Manager, e/o direttamente da Sophos tramite http.

Il componente dell'agente per endpoint che esegue gli aggiornamenti è Sophos Auto Update. Il sistema di aggiornamenti è completamente indipendente dal Sophos Remote Management System (RMS), che può invece inviare modifiche ai criteri di configurazione dalla console di gestione, oltre che ricevere report centralizzati e raccolte di eventi. Esiste un terzo percorso di comunicazione indipendente che parte da ciascun agente per endpoint Sophos e, tramite ricerche in tempo reale, arriva a Sophos; ciò avviene quando la configurazione di "Live Protection" è impostata su "Attivata". Questi tre sistemi combinati insieme, non solo garantiscono che Sophos possa fornire protezione contro le più recenti e diffuse minacce di malware, ma grazie alla modalità ridondata consentono il ripristino nel caso si verifichino problemi. Live Protection è inclusa in tutte le versioni dei prodotti per endpoint Sophos, a partire dalla versione 9.5 introdotta a giugno 2010. Questa funzione è attiva per impostazione predefinita.

In questo caso, per tutti i clienti con Live Protection attiva, il processo di ricerca indipendente ha autorizzato Sophos Update Manager e Sophos Auto Update a ignorare il falso positivo nelle regole distribuite localmente, e per questo Sophos Update Manager e l'agente per endpoint (oltre che tutte le altre applicazioni coinvolte) sono potute tornare a operare normalmente.

Per tutti i clienti che invece non avevano Live Protection attiva, il falso positivo ha continuato a impedire l'esecuzione corretta di Sophos Update Manager e Sophos Auto Update, e di conseguenza il download dell'IDE corretto. Sebbene l'agente per endpoint di Sophos abbia continuato a sottoporre a scansione e proteggere i computer, è stato necessario intraprendere azioni correttive che consentissero all'agente di ricevere gli aggiornamenti da Sophos. Per molti dei clienti colpiti, questo ha comportato la modifica della configurazione di Sophos Update Manager in modo che potesse continuare a scaricare gli aggiornamenti. Nella maggioranza dei casi, il cambiamento della configurazione, l’attivazione della Sophos Live Protection e la distribuzione di tali policy attraverso il Sophos Remote Management System (RMS), ha permesso di ripristinare sia l’aggiornamento dell’Endpoint Sophos che delle applicazioni di terze parti coinvolte.

La maggior parte dei clienti Sophos aveva Live Protection attiva oppure aveva mantenuto le impostazioni predefinite di disinfezione per i prodotti endpoint Sophos, in modo tale da "negare l'accesso" ai file sospetti, piuttosto che eseguire azioni di "spostamento" o "rimozione".

In alcuni casi, soprattutto quando i clienti avevano selezionato azioni di spostamento o rimozione dei file rilevati col falso positivo, è stata necessaria la riparazione del software Sophos in tutti i computer endpoint in modo tale che gli aggiornamenti automatici tornassero a funzionare in modo corretto. I tecnici Sophos sono riusciti a progettare e realizzare molto rapidamente tool utili per automatizzare la maggior parte di queste operazioni di ripristino e li hanno messi a disposizione dei clienti sul sito Web aziendale.

Sophos sta prendendo in considerazione la possibilità di apportare cambiamenti ai prodotti per endpoint in modo tale da limitare l'impatto di questo problema, oltre che rendere il processo di ripristino il più automatizzato e gestibile possibile sia per i nostri clienti che per i nostri partner.

Azioni consigliate

Nella tabella di seguito sono presentate alcune delle modifiche che Sophos sta prendendo in considerazione.

MISURE MESSE IN ATTO DA SOPHOS STATO
Si sta valutando la possibilità di eliminare la funzione "Cancella" e di sostituirla con una funzionalità di quarantena con ripristino. IN FASE DI PIANIFICAZIONE PER LE FUTURE VERSIONI DEI PRODOTTI
Potenziare la messaggistica all'interno dei prodotti relativa a Live Protection e consigliarne l'attivazione ai clienti attuali e futuri. IN FASE DI PIANIFICAZIONE PER LE FUTURE VERSIONI DEI PRODOTTI
Migliorare la resistenza dei processi di aggiornamento dei prodotti Sophos. IN FASE DI PIANIFICAZIONE PER LE FUTURE VERSIONI DEI PRODOTTI
Migliorare le funzionalità di self-protection degli Endpoint Sophos, includendo anche la fase di aggiornamento. IN FASE DI PIANIFICAZIONE PER LE FUTURE VERSIONI DEI PRODOTTI

 

RISPOSTA AL PROBLEMA: ulteriori considerazioni

Sebbene i nostri clienti e partner abbiano apprezzato la prontezza e la disponibilità dimostrata da Sophos nel rispondere a questa particolare circostanza, fornendo comunicazioni rapide e puntuali e supportando tutti i clienti colpiti, abbiamo identificato tre aree principali di miglioramento.

1. Capacità delle telecomunicazioni dei centri di supporto

Una volta rilevato il problema, Sophos ha concentrato tutto il suo staff tecnico nella gestione delle chiamate di supporto estendendo l'orario lavorativo nei suoi principali centri di supporto situati a Abingdon (UK), Boston (USA), Wiesbaden (Germania), Madrid (Spagna), Milano (Italia), Parigi (Francia), Sydney (Australia), Yokohama (Giappone), Vancouver (Canada), oltre che in altre città. Il volume delle chiamate durante le prime 48 ore dal verificarsi del problema aveva già superato di più di 10 volte i livelli normali. Ciò ha causato tempi di attesa molto lunghi per i clienti e in alcuni casi è stata superata la capacità degli switch telefonici. I clienti trovavano occupato e non riuscivano nemmeno a inserirsi nella coda di attesa. Questa situazione è peggiorata nel centro di supporto di Boston a causa di un problema al sistema telefonico. A Boston per tre giorni la capacità telefonica in entrata è stata ridotta del 50%. Uno degli obiettivi primari di Sophos è sempre stato l'impegno a fornire il più rapido ed efficace servizio di supporto tecnico nel settore della sicurezza informatica, con un tempo di attesa normalmente al di sotto dei tre minuti prima di poter parlare con uno dei nostri tecnici altamente qualificati. In questa particolare circostanza, Sophos non ha potuto rispettare i tempi di attesa abituali. Mentre da un lato stiamo mettendo in atto tutte le misure possibili per evitare che una circostanza simile si possa verificare ancora, stiamo al contempo lavorando per migliorare la nostra infrastruttura di supporto per essere sempre pronti a offrire supporto rapido e puntuale nel caso eventi di grandi dimensioni colpiscano i nostri clienti.

Azioni consigliate

MISURE MESSE IN ATTO DA SOPHOS STATO
Accordarsi con un fornitore di overflow o call failover che possa gestire in modo efficace eventuali picchi nel numero di chiamate al supporto tecnico. check COMPLETATO NEL REGNO UNITO E NEL NORD AMERICA
Mettere in atto una procedura di risposta a situazioni di emergenza che consenta di cambiare immediatamente il flusso di lavoro per la gestione delle chiamate in entrata, includendo messaggi IVR, call flow e call-back. IN CORSO
Collaborare con fornitori di servizi di telecomunicazione per migliorare la resistenza e la ridondanza dei sistemi di telecomunicazione e PBX, in modo tale da essere sempre protetti anche nel caso di eventuali picchi di traffico telefonico. check IN CORSO

2. Sistema di notifica proattivo

Sophos ha annunciato il falso positivo via Twitter e ha aggiunto un articolo della knowledge base a riguardo entro un'ora dal rilevamento del problema. Abbiamo avvertito del falso positivo in modo estensivo utilizzando sia la stampa che i social media già entro 2.5 ore dal verificarsi del problema, non appena avuta a disposizione una stima delle ripercussioni causate da questa situazione. Tuttavia, però, i clienti Sophos sono stati avvertiti tramite e-mail solo dopo 19 ore dall'accaduto.

Azioni consigliate

MISURE MESSE IN ATTO DA SOPHOS STATO
Modificare la procedure di emergenza messa in atto da Sophos nel caso si verifichino problemi, in modo tale da garantire comunicazioni continue coi clienti, tutti i giorni 24 ore al giorno. check COMPLETATA
Sviluppare e testare regolarmente sistemi di comunicazione e-mail automatizzati, e contattare i database per accelerare il recapito di e-mail di emergenza. IN CORSO
Identificare modalità di comunicazione alternative all'utilizzo di e-mail, per esempio l'invio di SMS, allarmi via console e RSS. IN CORSO

3. Articoli della knowledge base

Le prime versioni degli articoli della knowledge base (KBA) sono risultate difficili da seguire per i clienti. Il sistema di pubblicazione di Sophos ha inoltre registrato problemi nella visualizzazione dei risultati durante la pubblicazione delle versioni successive e riviste degli articoli della KBA in questione. Durante le prime 48 ore, ciò ha portato alla visualizzazione di pagine obsolete o, in alcuni casi, vuote, quando il sito Web di Sophos ha registrato un picco nelle visite pari a 25 volte il livello normale di visualizzazioni di tutto il sito.

Azioni consigliate

MISURE MESSE IN ATTO DA SOPHOS STATO
Modificare la procedura di emergenza messa in atto da Sophos in modo da affrontare prontamente le diverse situazioni e individuare un responsabile che gestisca la redazione e l'aggiornamento dei principali articoli della knowledge base, utili nella risoluzione del problema in atto. check COMPLETATA
Preparare modelli di riferimento per gli articoli della knowledge base da utilizzare come riferimento in caso di emergenza; tali moduli dovrebbero includere elementi visivi come schermate esemplificative ed elenchi di controllo che aiutino i clienti e i partner a verificare se siano stati colpiti o meno dal problema in corso, oltre che, in caso positivo, comprendere subito quale sia l'impatto del problema nei loro sistemi. check COMPLETATA
Rivedere e migliorare le procedure di pubblicazione degli articoli della knowledge base in modo da riuscire a pubblicarli più rapidamente, anche nelle versioni tradotte, nel caso si verifichino situazioni di emergenza. IN CORSO

 

Raccomandazioni aggiuntive

Il verificarsi di questo problema ha messo in evidenza come Sophos debba impegnarsi a offrire maggiori e più puntuali informazioni ai nostri clienti e partner sulle impostazioni dei criteri per la distribuzione e gestione dei nostri prodotti. Se le impostazioni predefinite di Sophos per le nuove installazioni hanno potuto ridurre l'impatto di questo problema alla sola ricezione di molteplici allarmi; per i clienti senza Live Protection attiva, e per quelli che avevano cambiato le impostazioni di cleanup predefinite scegliendo le azioni "Sposta" o "Cancella", le ripercussioni sono state diverse.

Abbiamo pubblicato l'articolo 114345 della knowledge base in cui illustriamo il criterio da noi al momento consigliato. Fra gli altri consigli, viene qui suggerito di attivare Live Protection e di impostare l'azione di disinfezione su "Nega solo l'accesso".

Conclusione

Da quando Sophos è stata fondata, nel 1985, i nostri clienti e partner si sono sempre aspettati prodotti leader nel settore e il migliore servizio tecnico disponibile. Ci impegneremo al massimo nel migliorare in modo efficace e costante i nostri sistemi, i nostri processi e la nostra stessa organizzazione (inclusi, certamente, tutti gli elementi rilevati in questo documento), per essere certi che un evento di questa portata non si verifichi mai più. Di pari passo, dobbiamo essere pronti a fronteggiare eventi critici, a prescindere dalla causa scatenante, in modo ancora più efficace e puntuale. Nulla è più importante della piena fiducia dei nostri clienti nel darci l'opportunità di proteggere le loro organizzazioni. Sophos continuerà a imparare molto da questa particolare situazione e riuscirà a crescere e migliorarsi, creando prodotti di sempre maggiore valore per i nostri clienti e partner e applicando procedure certamente potenziate in termini di affidabilità e reattività.