Meccanismi di credit score sono utilizzati da decenni per valutare l’affidabilità creditizia dei consumatori, ma ora che sono alimentati da algoritmi e sempre più automatizzati la loro portata è molto più ampia. Non solo prendono in considerazione un volume più elevato e diversificato di dati, ma influenzano sempre più la possibilità per un individuo di acquistare un’auto, affittare un appartamento o trovare un lavoro a tempo pieno.
L’uso dell’AI e i pregiudizi
All’inizio dell’implementazione della valutazione algoritmica del credit score è stato anticipato come l’implicazione di sistemi di intelligenza artificiale, più neutri rispetto alle persone, porterebbe a una valutazione con meno pregiudizi e discriminazioni. Infatti, storicamente, il settore dei prestiti è stato crivellato di pregiudizi contro caratteristiche protette, come razza, genere e orientamento sessuale. Tali pregiudizi sono evidenti nelle scelte delle istituzioni in termini di chi ottiene il credito e a quali condizioni. In questo contesto, fare affidamento su algoritmi per prendere decisioni sul credito invece di rimandare al giudizio umano sembra una soluzione ovvia.
Nella pratica purtroppo i meccanismi basati sull’intelligenza artificiale mostrano molti degli stessi pregiudizi degli esseri umani. Sono stati spesso alimentati con basi di dati sulle decisioni creditizie distorte, tratte da decenni di iniquità nei mercati immobiliari e dei prestiti. Così, se lasciati incontrollati, minacciano di perpetuare i pregiudizi nelle decisioni finanziarie e di ampliare i divari di ricchezza del mondo. Il problema del bias è endemico e colpisce allo stesso modo le start-up di servizi finanziari e gli operatori storici.
Incidere sui dati per migliorare l’accuratezza
Supponiamo che una banca utilizzi un sistema di intelligenza artificiale che dovrebbe prevedere quali soggetti richiedenti un prestito avranno difficoltà a rimborsarlo. L’apprendimento del sistema si basa sui dati degli ultimi vent’anni e anche se presumibilmente il sistema non contiene informazioni sulle caratteristiche protette come, ad esempio, il colore della pelle, può imparare che le persone con un determinato codice postale tendono statisticamente ad essere più inadempienti per il credito e utilizzare questa correlazione per prevedere il default di credito. Viene quindi utilizzato un criterio prima facie neutro (il codice postale) per presumere il mancato pagamento. Si sa però che, in molti casi (ad esempio, è un problema particolarmente sentito negli Stati Uniti) esiste una correlazione in pratica tra quel codice postale e l’origine razziale, in quanto persone con le stesse origini tendono a vivere nelle stesse zone. Pertanto, se la banca prende le sue decisioni sulla base di questa previsione e rifiuta più di frequente di concedere prestiti ai residenti di determinati quartieri, va in definitiva a danneggiare i membri di un certo gruppo sulla base dell’origine razziale.
I ricercatori spiegano che questo problema deriva da ciò che chiamano codificazione ridondante, ovvero l’appartenenza a una classe protetta codificata in altri dati. Questo è ciò che accade quando una parte dei dati o determinati valori di tali dati sono strettamente correlati con l’appartenenza a una specifica classe protetta. Tale criticità dei dati indiretti è delicata da affrontare poiché la semplice rimozione delle variabili rilevanti dal data mining spesso rimuove criteri di rilevanza dimostrabile e giustificata nella decisione da prendere.
Le società di credit scoring digitali sostengono un forte argomento a favore dell’efficienza confrontando il credit scoring basato su dati alternativi e algoritmi di machine learning con quello basato su dati tradizionali e strumenti statistici meno sofisticati. I meccanismi di credit scoring nutriti con dati “alternativi”, presumibilmente meno inclini a pregiudizi razziali o di altra natura, sarebbero considerati più equi. Si fa riferimento, ad esempio, alle bollette del cellulare, l’affitto, oppure l’attività sui social network. Tuttavia, l’utilizzo dei big data non può essere una soluzione definitiva per ridurre le criticità innanzi descritte. Infatti, studi hanno rilevato che l’analisi con sistemi di AI dei collegamenti agli “amici” su Facebook era in grado di rivelare l’orientamento sessuale dell’utente – anche in questo caso, quindi, da dati personali di per sé “innocui” si possono inferire informazioni sensibili.
Intelligenza artificiale antagonista per correggere i bias
Come innanzi evidenziato, modelli apparentemente neutri continuano ad avere un impatto discriminante sulle classi protette e non protette. Una ricerca pubblicata nella Harvard Business Review fa emergere come l’utilizzo di una “intelligenza artificiale antagonista” possa essere in grado di ridurre il rischio di discriminazione.
Così diverse istituzioni finanziarie hanno sviluppato un ulteriore modello basato sulla cosiddetta intelligenza artificiale “antagonista”. Si tratta di un secondo meccanismo di AI utilizzato per individuare possibili pregiudizi di classe protetta nelle decisioni prese dal primo modello. Se il secondo modello, l’AI antagonista, rileva qualsiasi caratteristica protetta come razza, etnia, religione, sesso, sessualità, disabilità, stato civile o età, dal modo in cui il primo modello di credito tratta un richiedente, il modello originale viene corretto.
Ad esempio, i modelli antagonisti basati sull’intelligenza artificiale possono rilevare i codici postali delle minoranze etniche dagli output di un modello di credito proposto. Ciò può spesso essere dovuto a un’interazione confusa con salari più bassi associati a codici postali sovrapposti come sopra evidenziato. Mentre interventi manuali per tentare di correggere tale tipo di distorsione nei dati possono anche finire in profezie che si autoavverano, poiché gli errori o le ipotesi fatte possono essere ripetuti e amplificati, l’AI può oggi essere utilizzata come approccio automatizzato per risintonizzare il modello in modo da aumentare l’influenza delle variabili che contribuiscono all’equità e ridurre quelle che determinano il bias. Così, l’utilizzazione di meccanismi simili ha dimostrato in alcuni casi una riduzione delle discriminazioni del 70%.
Sviluppare modelli che riducano il rischio di discriminazione
Infine, è chiaro che le istituzioni finanziarie dovrebbero concedere prestiti a seconda che le persone siano disposte e in grado di pagare il debito e non dovrebbero trattare le persone in modo diverso se hanno profili di rischio simili, a prescindere dal fatto che la decisione venga presa da reti neurali artificiali o da cervelli umani. Ridurre i pregiudizi non è solo un’attività socialmente responsabile, ma rende anche più redditizi gli affari: i primi promotori della riduzione dei pregiudizi attraverso l’AI avranno un reale vantaggio competitivo, oltre a fare il loro dovere morale.
Lasciati a sé stessi, i sistemi di apprendimento automatico possono cementare proprio i pregiudizi che aspiriamo a eliminare. Questo non significa che l’intelligenza artificiale non debba essere utilizzata affatto, ma che, armati di una più profonda consapevolezza dei pregiudizi in agguato nei dati e di obiettivi che riflettono scopi sia finanziari che sociali, bisognerebbe sviluppare modelli per ridurre al minimo il rischio di discriminazione. Pertanto, soltanto l’associazione dei principi etici che solo l’uomo è in grado di garantire e il perfezionamento dei sistemi di AI utilizzati nel settore potrà ridurre i bias dei meccanismi di credit score e così rendere il settore finanziario più equo.
