Novelty detection e anomaly detection: la prima ha l’obiettivo di identificare pattern nuovi e trend emergenti; la seconda si concentra sull’individuazione di outlier che possono essere rappresentativi di errori, frodi o guasti. Fin dalla nascita del metodo scientifico e dall’utilizzo della statistica per supportarne i risultati, la ricerca scientifica e i processi industriali sono stati guidati da un costante confronto tra ciò che era atteso, la “normalità”, e ciò che non lo era, l’anomalia.
Nelle scienze l’individuazione di anomalie e difformità nei pattern noti ha spesso portato a nuove scoperte scientifiche, come nel caso di Lord Rayleigh.
Un articolo che valse un premio Nobel
Quando nel 1982 il fisico inglese Lord Rayleigh pubblicò su Nature l’articolo Density of Nitrogen, non poteva nemmeno immaginare che quell’articolo, in cui arrivava addirittura a chiedere l’aiuto dei lettori[1] per cercare una spiegazione ai dati anomali che aveva raccolto, gli sarebbe valso il premio Nobel.
Dovette infatti aspettare due anni, quando insieme al chimico William Ramsay annunciò alla British Association for Science che quei risultati presentati qualche anno prima dimostravano l’esistenza di un nuovo gas nobile, l’argon. Il risultato era basato su una serie di campagne sperimentali condotte da Rayleigh negli anni precedenti che avevano l’obiettivo di misurare la densità dell’azoto. Il fisico non si capacitava di una costante anomalia che otteneva nei suoi risultati: l’azoto ricavato dall’aria risultava sempre più leggero rispetto alle aspettative.
Novelty detection o anomaly detection
Questa storia ci ricorda che dalla nascita del metodo scientifico e dall’utilizzo della statistica per supportarne i risultati, la ricerca scientifica e i processi industriali sono stati guidati da un costante confronto tra ciò che era atteso, la “normalità”, e ciò che non lo era, l’anomalia. Nelle scienze l’individuazione di anomalie e difformità nei pattern noti ha spesso portato a nuove scoperte scientifiche, come nel caso di Lord Rayleigh. Si pensi ad esempio all’astronomia, dove le deviazioni della posizione dei corpi celesti possono portare alla scoperta di nuovi pianeti, stelle o in alcuni casi buchi neri (novelty detection).
Nei processi industriali invece, le irregolarità rappresentano spesso delle configurazioni non desiderate, in cui la macchina o il processo divergono dalle condizioni “normali”: se questo in alcuni casi può portate a difformità nel prodotto finito, dall’altro può essere sintomo di un probabile malfunzionamento che potrebbe evolvere in guasto (anomaly detection).
In entrambi i casi quello che è importate riconoscere, è la deviazione del dato misurato, qualunque esso sia (una serie di valori numerici, un’immagine, un testo), da una distribuzione di dati che riteniamo normale e descrittiva del nostro sistema, o di quello che riteniamo possa essere il modello che lo rappresenta. Riconoscere l’anomalia è quindi tracciare una linea che ci permette di separare due punti di lavoro diversi del nostro sistema: uno normale e uno anomalo. Questo processo può essere effettuato sulla base di alcune regole definite a priori (supervisionato) o analizzando direttamente le distribuzioni statistiche dei dati (non supervisionato).
Dal punto di vista tecnico è importante fare una prima importante distinzione sugli obiettivi. Mentre quando si parla di novelty detection l’obiettivo è identificare pattern nuovi e trend emergenti, l’anomaly detection si concentra sull’individuazione di outlier che possono essere rappresentativi di errori, frodi o guasti.
Il ruolo centrale del contesto
Per entrambe, l’individuazione della deviazione dalla normalità può avvenire utilizzando diversi set di dati che descrivono uno stesso fenomeno. Ma, come spesso accade, i fenomeni (e quindi i dati) non sono indipendenti tra loro e l’analisi di un sistema non può prescindere dall’analisi del contesto in cui quel sistema è posto. Se qualcuno ci chiedesse ad esempio se un’auto con guida a destra sia un caso eccezionale (anomalia), ciascuno di noi forse risponderebbe affermativamente. Ma se restringessimo il campo alle auto immatricolate in Gran Bretagna sarebbe evidentemente vero il contrario.
In questi contesti in cui i fenomeni sono rappresentati da diverse variabili, con relazioni di correlazione e causalità tra loro, l’individuazione delle anomalie diventa decisamente più complessa. In che modo possiamo essere certi che la variazione di un trend di variabili prodotte da una macchina industriale sia rappresentativa di un funzionamento corretto e non indicativa di un’anomalia funzionale? Quando possiamo essere ragionevolmente sicuri che il risultato di una diagnostica medica escluda patologie per un paziente che ha subito un trattamento farmacologico?
Se da sempre abbiamo la possibilità di affidarci all’esperienza dell’operatore esperto, negli ultimi anni possiamo affiancare a questa anche algoritmi di anomaly detection in grado di apprendere lo stato normale di un sistema e riconoscere la transizione verso uno stato anomalo.
Applicazioni di Machine learning per la ricerca di outlier
Con l’avvento dei dispositivi elettronici per la raccolta dati e, negli ultimi con la crescita esponenziale dell’utilizzo di device IoT (Internet of Things), la mole di dati a disposizione di scienziati e ingegneri è diventata ingente. Ed è così che i metodi matematici e di machine learning diventano un alleato prezioso per individuare le anomalie e cercare di spiegarne le possibili cause. Le applicazioni spaziano dall’analisi di immagini per il controllo qualità, alla ricerca di outlier all’interno di serie temporali di dati (time series), con l’obiettivo di cercare di anticipare le anomalie e mitigarle prima che siano la causa di ulteriori danni.
Oltre alla individuazione dell’anomalia, il tema centrale del problema risulta essere legato alle azioni che vanno introdotte per mitigarla. Nei diversi settori di applicazione le azioni possibili sono diverse e la scelta su quale intraprendere dipende dall’obiettivo principale del processo (e.g. controllo di processo, classificazione, previsione). Nelle sezioni che seguono sono riportati alcuni esempi di applicazioni, suddivisi in base all’obiettivo di interesse.
Controllo qualità
Uno degli esempi più diffusi dell’applicazione delle tecniche di anomaly detection è legato al settore del controllo qualità di prodotto. Le capacità dei modelli machine learning di trattare diverse tipologie di dati (e.g. tabulari, immagini, sequenze) anche in configurazioni multimodali garantisce che possano essere applicati alla verifica di qualità dei prodotti finiti e che vengano utilizzati per evidenziare eventuali difformità di produzione.
Controllo di processo e mitigazione dei danni
Nei processi industriali, l’obiettivo primario di un sistema di controllo è quello di evitare che questo diverga verso punti di funzionamento caratterizzati da inefficienza o addirittura pericolo. In questi sistemi, la sfida principale è saper cogliere i segnali di anomalia con un anticipo sufficiente affinché possano essere applicate procedure di mitigazione per riportare la situazione a uno stato normale. In questo contesto, all’individuazione dell’anomalia e delle ragioni che l’hanno causata, segue l’azione del sistema di controllo, che sulla base di regole preimpostate cercherà di riportare il sistema in uno stato normale e sicuro.
Manutenzione predittiva
Alle applicazioni precedenti sono strettamente collegate le applicazioni delle tecniche di anomaly detection per la manutenzione predittiva (predictive maintenance). L’obiettivo è chiaro quanto complesso: essere in grado di comprendere con sufficiente anticipo che il sistema si trova in uno stato di transizione tra un comportamento a regime e uno insolito. Identificata questa informazione, l’obiettivo diventa stimare che effetto avrà questo fenomeno di deriva sul mio sistema ed essere in grado di anticipare eventuali guasti e fermi impianto operando una specifica manutenzione preventiva.
Security e safety
In ambito informatico, un attacco a un sistema solitamente è associato a una serie di processi anomali che, se individuati per tempo, possono permettere di bloccare l’attaccante e salvaguardare il sistema. Un esempio sono i cambiamenti di pattern nel traffico dati o nell’accesso a determinate risorse di sistema. In entrambi questi casi, il riconoscimento anticipato di comportamenti atipici può consentire di bloccare l’attacco e preservare l’integrità dei sistemi (intrusion detection).
Parallelamente, le stesse logiche possono essere applicate a casi in cui il processo da modellare è legato al mondo finanziario, in cui l’obiettivo è valutare la probabilità che certe operazioni siano collegate a frodi. In questo caso, gli algoritmi dovranno essere in grado di riconoscere le operazioni anomale che sono potenzialmente associate a transazioni non “normali” (fraud detection).
Allo stesso modo, sfruttando il processamento di immagini in real time, raccolte sul campo, alcuni algoritmi di anomaly detection sono utilizzati per identificare situazione pericolose in spazi pubblici o privati. Ne sono un esempio l’analisi dei dati di video sorveglianza di una stazione della linea metropolitana o l’installazione di un sistema di controllo a bordo di un macchinario industriale che permetta di identificare eventuali situazioni di pericolo per il personale al lavoro sul processo.
Exploration, novelty ed exploitation
Nell’ambito della ricerca, scientifica o applicata, l’individuazione di anomalie è spesso sinonimo di scoperta. Come illustrato nell’esempo di Lord Rayleigh, l’obiettivo principale in quest’ambito non è solo individuare le anomalie, ma anche studiarle e comprenderne le cause. La presenza di un’anomalia all’interno dei profili di diffusione delle onde in un terreno, ad esempio, potrebbe essere causata dalla presenza di un serbatoio sotterraneo di acqua fino a quel momento non noto.
Nell’ambito della ricerca e sviluppo, grazie a nuove tecniche di modellazione matematica e di optimal experimental design, negli ultimi anni è possibile sfruttare algoritmi di machine learning per esplorare set di parametri ancora non analizzati, individuare eventuali punti di anomalia (novità) rispetto al comportamento atteso e infine sfruttare la nuova regione di lavoro per determinare quali sono i punti di lavoro ottimi a cui è associata una migliore performance.
Conclusioni
Nella costruzione di un algoritmo di anomaly e novelty detection il primo requisito necessario è essere in grado di definire lo stato normale del sistema prendendo in considerazione tutti le variabili che lo descrivono. Come nel caso di Lord Rayleigh, questo è il passaggio più delicato e complesso perché richiede da un lato una conoscenza completa del processo e dall’altro pone, in alcuni casi, questioni etiche su quale sia la linea di separazione tra normalità e anomalia. Per quanto riguarda il contesto industriale, tra le principali applicazioni dell’anomaly detection ritroviamo la manutenzione predittiva, il controllo qualità e di processo, ma anche le attività di intrusion e fraud detection per la security.
In questo processo di ricerca dell’anomali, le tecniche di machine learning sono risorse preziose che ci permettono di analizzare e classificare ingenti moli di informazioni che descrivono processi in cui le relazioni funzionali sono complesse. Il “fattore umano” e la conoscenza del fenomeno che si sta modellando rimangono comunque fondamentali per costruire l’insieme di regole necessarie a guidare l’applicazione di questi algoritmi nei processi di interesse.
Nota
- “I am much puzzled by some recent results as to the density of nitrogen, and shall be obliged if any of your chemical readers can offer suggestions as to the cause” ↑
