Explainable AI, cos’è, perché è utile e come si può realizzare

Il classico modello di intelligenza artificiale, costruito su algoritmi di machine learning o deep learning è una black box, ovvero una scatola con un input e un output correlato all’input ma senza conoscerne la dipendenza funzionale; la black box viene ricalibrata per migliorare l’output prodotto in base ai diversi input. Una relazione funzionale esplicitamente definita tra input e output sarebbe trasparente e produrrebbe previsioni meno ambigue; tuttavia, se la relazione funzionale fosse molto complessa risulterebbe difficile da comprendere per l’utente finale. Quello che si vuole fare è rendere interpretabile la black box. In altri termini, si parla di explainable AI, Ai spiegabile.

La necessità di una explainable AI

Grandi progressi in pochi anni nel machine learning e nel deep learning per creare soluzioni basate sull’intelligenza artificiale in diversi contesti, abbracciando commercio al dettaglio, banche, finanza, medicina, industrie manifatturiere, internet of things. L’intelligenza artificiale è il cuore di molti prodotti e soluzioni che si diffondono con la digitalizzazione globale delle aziende. Il successo di queste applicazioni è supportato dalla crescente capacità di apprendere e di adattarsi dei sistemi esperti. La capacità di elaborazione dei dati disponibili e le capacità di estendere alcune facoltà tipiche degli esseri umani ha permesso di raggiungere livelli record di prestazioni nella soluzione di problemi complessi. In questo scenario troviamo negli ultimi anni strumenti come AutoML (Automatic Machine Learning), strumenti di sviluppo “low code” che richiedono il minimo intervento umano; la tendenza è produrre sistemi in grado di lavorare a zero intervento umano e prendere decisioni, progettare e rilasciare soluzioni. Quando le decisioni sono prese completamente da sistemi esperti è estremamente necessario comprendere come una macchina arriva a determinate scelte e decisioni.

L’uso giornaliero di modelli di intelligenza artificiale per sistemi decisionali richiede trasparenza, etica e imparzialità. Questi sono alcuni scenari in cui è necessaria la “spiegabilità”:

• accettazione o rifiuto di servizi finanziari come mutui o prestiti: è importante capire le motivazioni di un eventuale rifiuto ed eventualmente capire le azioni correttive, ovvero cosa non va bene.
• diagnosi cliniche: i modelli di intelligenza artificiale stabiliscono se una persona potrà manifestare o no determinate patologie con una percentuale di confidenza. In queste situazioni è fondamentale sapere perché si arriva a determinate previsioni e quali sono le variabili che hanno contribuito al risultato, la conoscenza di queste informazioni permette di capire se l’algoritmo lavora correttamente e soprattutto può fornire informazioni per intervenire in maniera preventiva.
• guida autonoma dei veicoli: vengono prese decisioni continue sul movimento, direzione, velocità, frenata, rilevazione ostacoli e azioni per evitarli. Ogni azione deve essere spiegata con trasparenza sia per mantenere la fiducia in un tale sistema sia per garantire la sicurezza e migliorare eventuali difetti.
• qualsiasi altro sistema guidato da algoritmi di intelligenza artificiale: è utile avere le indicazioni su come e perché vengono ottenuti i risultati. Questa tendenza è tipica degli esseri umani che fanno fatica ad accettare qualcosa che non possono comprendere o interpretare; viene meno la fiducia nelle previsioni del modello perché non sono chiari i meccanismi di elaborazione delle informazioni.

Explainable AI: performance, complessità e spiegabilità

Si usano modelli di intelligenza artificiale per limitare gli errori umani, ma a maggior ragione l’output di tali modelli deve essere giustificabile, legittimo e trasparente. L’appetibilità di tali modelli deriva dall’accuratezza raggiunta e dalle prestazioni che superano abbondantemente quelle umane, anzi vanno oltre le capacità umane. C’è una sorta di stato di fatto empirico e un punto di equilibrio tra le prestazioni di un modello e la sua spiegabilità. Più un modello è semplice e più è comprensibile e aperto, più è complesso e con algoritmi complessi e più è una black box. Un modello basato su regole logiche ha la massima interpretabilità ma può essere poco flessibile e poco accurato; al contrario un modello di deep learning basato su reti neurali può garantire prestazioni eccezionali ma non interpretabili e non spiegabili. Questa non è una regola rigida, anche un modello di regressione necessità delle caratteristiche di “explainability”, nonostante la sua maggiore semplicità rispetto a una rete neurale. Un’altra regola da sfatare è che migliori prestazioni di un modello siano sempre abbinate a modelli complessi e poco spiegabili.

Differenza fra spiegabilità e interpretabilità

C’è differenza tra interpretabilità e spiegabilità di un modello di intelligenza artificiale. L’interpretazione riguarda il significato di quanto viene stimato dal modello; la spiegabilità riguarda il perché di tale stima e perché dovremmo fidarci. Supponiamo di avere un modello di regressione che predica le vendite di autoveicoli in base a una serie di fattori; a regressione effettuata ogni fattore ha un coefficiente che può essere interpretato nel contributo all’incremento delle vendite. Se la previsione trimestrale è di vendite per una cifra di 2 milioni di euro e in genere storicamente non ci sono mai stati trimestri con vendite superiori a 1 milione di euro, questo risultato ha la necessità di essere motivato. La spiegabilità di un modello comprende l’interpretabilità che assicura previsioni corrette e la distinzione tra falsa e vera causalità che favorisce la trasparenza della previsione.

Lo scopo della explanaible AI

Lo scopo della Explainable Artificial Intelligence (XAI) è di fornire i seguenti punti saldi.

• Fiducia: l’accuratezza di una previsione è indice della qualità di un algoritmo, ma ogni modello tende a generare dei falsi positivi tanto da far perdere fiducia all’utente finale. Allora è importante trasferire all’utente un sufficiente livello di confidenza nel modello.
• Correlazione/associazione: i modelli di machine learning e deep learning sono addestrati su un dataset di caratteristiche e sulla correlazione e associazioni tra esse. Le correlazioni non comprensibili rendono difficile l’interpretazione del modello. Diventa importante distinguere le correlazioni significative.
• Affidabilità: si riferisce a stabilità del modello nelle previsioni, robustezza e confidenza. Questa qualità favorisce la fiducia dell’utente finale nell’utilizzo del modello.
• Imparzialità: un modello di intelligenza artificiale deve essere eticamente accettabile, ovvero nelle previsioni non dovrebbe fare discriminazioni su religione, sesso, razza.
• Rispetto della privacy: il modello deve preservare la privacy e non rivelare le identità delle persone

Tali punti sono minati dalle tecniche ideate per ingannare gli algoritmi, specialmente nel riconoscimento di immagini. La possibilità di ingannare un algoritmo è una delle principali motivazioni alla costruzione di metodi per una intelligenza artificiale che sia explainable.

Explainable AI: WIT, uno strumento per addetti ai lavori

L’argomento è attuale, di interesse globale e in crescita negli istituti di ricerca e nelle aziende. Si può lavorare sugli algoritmi e sulla loro implementazione per estrarre le informazioni utili a spiegare i risultati, si può considerare il modello come black box e stimolarlo con dati di input diversi per vedere che tipo di risposte si ottengono, ma si può anche lavorare a strumenti che “interagiscono” con il modello e permettono di capire il perché di un dato risultato. Tra questi strumenti c’è il “What If Tool” abbreviato WIT. Rilasciato da Google come parte di Tensorboard per utilizzo con Tensorflow o con l’ambiente Colab, può essere utilizzato anche in un ambiente di sviluppo Python locale.

WIT è uno strumento interattivo e grafico costruito per investigare i modelli di machine learning; permette la comprensione di modelli di regressione e di classificazione tramite operazioni di valutazione, confronto tra modelli, analisi del modello. WIT ha un’interfaccia molto fruibile e semplice che non dipende dalla complessità del codice per la creazione del modello; queste caratteristiche ne fanno uno strumento di ampio utilizzo anche da parte di non addetti ai lavori, il codice necessario è minimo e non è sempre necessario essere programmatori.

WIT permette un insieme di operazioni che contribuiscono a migliorare la comprensibilità di un modello:

• visualizzare i risultati
• esaminare situazioni ipotetiche
• esaminare situazioni impreviste rispetto ai dati
• analizzare l’importanza di diverse caratteristiche e fattori usati nel modello
• confrontare il comportamento del modello rispetto ad altri con sottoinsiemi di dati di input
• provare differenti metriche di valutazione
• editare dei dati di input e verificare la variazione in prestazioni e risultati
• organizzare i dati per similarità

Attualmente questo strumento viene utilizzato dopo la costruzione del modello. La direzione di sviluppo di WIT è quella di poter accedere alle informazioni interne del modello soprattutto nel caso di reti neurali. Un altro punto di evoluzione è la riduzione del livello di esperienza necessaria al suo utilizzo.

Conclusioni

La XAI è un argomento ancora giovane ma necessario nell’evoluzione di sistemi di intelligenza artificiale. Ci sono già strumenti che permettono di eseguire facilmente operazioni per spiegare il comportamento dei modelli di machine learning e i gruppi di ricerca insieme ai grandi player dei sistemi basati su AI stanno investendo. Questo è un altro passo verso sistemi di AI sempre più affidabili che potranno coadiuvare l’operato umano in processi decisionali.