L’AI può essere “spiegabile” o dobbiamo rassegnarci a considerarla una “black box”, una scatola nera che agisce in base a meccanismi che restano oscuri? Ebbene, le tecniche in grado di “spiegare” le decisioni prese dalle black box esistono e si collocano nell’ambito di ricerca scientifica denominato Explainable AI, che sta trovando ampia applicazione nel business.
Il nodo della black box
Chi ha avuto esperienze nell’uso delle tecniche di intelligenza artificiale (AI) si sarà sicuramente accorto che questi modelli matematici forniscono essenzialmente numeri, difficilmente interpretabili. Questo è dovuto al fatto che essi sono molto complicati internamente, al punto che diventa impossibile, per un essere umano, comprendere le motivazioni delle loro previsioni. In gergo tecnico questo tipo di AI viene chiamato black box, cioè una scatola nera che accetta in input le informazioni, le elabora in maniera del tutto oscura ai fini della comprensione e fornisce un output che sarebbe la previsione.
Il fatto che l’AI sia una black box è da tenere presente quando la si utilizza in produzione. Tutti ricordiamo l’incidente mortale causato dall’auto a guida autonoma di Uber, che una notte di qualche mese fa ha investito un pedone uccidendolo. La famiglia della vittima ha portato in giudizio l’azienda e il giudice ha voluto capire come mai la macchina non avesse riconosciuto il pedone. Purtroppo, il tipo di AI utilizzato da Uber era una black box ed è quindi stato molto complicato capire il “perché” di una previsione così errata.
Viene quindi naturale chiedersi se avere una black box in produzione sia un problema in tutti i contesti applicativi. La risposta è sicuramente no e lo si dimostra con un semplice contro-esempio in uno specifico contesto applicativo: nel caso in cui la nostra AI sia stata progettata per aiutare le persone a scrivere la lista della spesa con il riconoscimento vocale e questa AI riconosca “maple” invece di “apple” allora non si avranno “conseguenze“ rilevanti.
Abbiamo volutamente messo fra virgolette le parole “perché” e “conseguenze” nei paragrafi precedenti per un motivo molto semplice. Nel caso in cui le conseguenze delle previsioni di una AI potrebbero impattare sulla sicurezza della persona (es. diagnosi mediche) o sui propri diritti (es. accesso ai mutui, possibilità lavorative) allora è necessario poter rispondere del perché la macchina abbia preso una determinata decisione. Viene infatti naturale domandarsi cosa c’è dentro questo numero magico generato dalla AI e se non abbia sbagliato la previsione focalizzandosi su informazioni inesatte. Immaginate una AI che dica al medico: “probabilità che si tratti di un tumore del 75%” a partire da una radiografia ai polmoni. Ci si può fidare di questa AI? Decisamente no! È necessario avere una conferma ulteriore di questa decisione.
Explainable AI: perché 2 è un 2?
Prima di capire come spiegare le decisioni prese da una black box viene naturale chiedersi se questo sia in primis fattibile. A riguardo viene in aiuto l’opinione di Geoffrey Hinton, uno dei padri dell’AI moderna, ricercatore scientifico noto a livello mondiale, spesso nominato “the Godfathers of deep learning” (ossia il padrino). Hinton, in un breve video facilmente rintracciabile su YouTube, afferma di credere fermamente che questo non sia fattibile e lo argomenta con una domanda semplice ma molto provocatoria: chiede al proprio intervistatore di spiegare perché un 2 scritto su un foglio di carta venga riconosciuto effettivamente come il numero 2. Dopo qualche secondo di arrampicata sugli specchi da parte dell’intervistatore, palesemente in imbarazzo per non saper rispondere, Hinton spiega che gli esseri umani sono talmente bravi a riconoscere immagini (uno dei compiti tipici dell’AI) che nel momento in cui vengano “forzati” a portare le motivazioni delle proprie decisioni non fanno altro che inventarsi le storie più disparate. In maniera del tutto analoga, questo è quello che succederebbe se forzassimo l’AI a darci una spiegazione per la previsione fatta.
È noto che l’opinione di Hinton è quella di focalizzare gli sforzi sull’agreement che l’AI ha con le decisioni da prendere: in parole semplici, se l’AI ha una performance molto alta, o addirittura migliore di tutte le metodologie attualmente disponibili, allora non c’è motivo per richiedere spiegazioni delle proprie decisioni.
Il discorso certamente fila. Tuttavia, i problemi relativi alle conseguenze delle decisioni automatiche rimangono e quindi parte della comunità scientifica si sta focalizzando sulla creazione di tecniche di Explainable AI che possano correlare con il processo di decisione almeno con un buon grado di approssimazione.
Explainable AI: il metodo occlusivo
Diverse sono le metodologie sviluppate allo scopo di spiegare le decisioni prese dall’AI. Queste metodologie si possono raggruppare in due macro-gruppi a seconda che possano essere utilizzate solo per certe AI o per tutti i tipi di modelli. Ecco un metodo specifico di Explainable AI utilizzabile con facilità su tutte le AI: il metodo occlusivo.
Immaginiamo di avere a disposizione una AI in grado di selezionare le persone da assumere in azienda a partire dallo scan del curriculum. Per facilitare il problema, ipotizziamo che il curriculum sia stato formattato secondo determinate regole definite dall’azienda; ad esempio, foto in alto, istruzione, esperienza lavorative e skill tecniche.
Questo scan viene dato in pasto all’AI e otteniamo probabilità di assunzione dell’85%. Ci si chiede giustamente perché questa persona ottenga questo determinato risultato; per provare a capire le motivazioni dell’AI utilizziamo il metodo occlusivo. Questo metodo non fa altro che coprire con un box nero ogni sezione del curriculum in sequenza e di ricalcolare le probabilità di assunzione. Ipotizziamo che si siano ottenuti i seguenti risultati:
- probabilità di assunzione dopo aver rimosso la foto: 15%
- probabilità di assunzione dopo aver rimosso la sezione istruzione: 60%
- probabilità di assunzione dopo aver rimosso la sezione lavoro: 70%
- probabilità di assunzione dopo aver rimosso la sezione skill: 84%
Cosa possiamo capire da queste nuove probabilità? Certamente il cambiamento più drastico si è ottenuto coprendo la foto del candidato. Questo significa che questa AI sta utilizzando la foto, piuttosto che le altre sezioni del curriculum, per decidere se assumere o meno il candidato! In altre parole, questa AI non andrebbe presa in considerazione, anche se il fornitore del sistema ha valutato un agreement (secondo le parole di Hinton) molto alto su un dataset precedentemente utilizzato per la calibrazione del modello.
Conclusioni
I problemi affrontati in questo articolo e riscontrati nel semplice esempio applicativo sono in realtà all’ordine del giorno per chi sviluppa modelli di AI. L’utilizzo di tecniche di Explainable AI ha quindi aperto la possibilità di avere una conferma da parte dell’AI sugli input che abbiano avuto maggior peso nella decisione e dall’altra permette a chi sviluppa AI di verificarne il corretto funzionamento e nel caso agire con delle modifiche.
