Se si vuole sviluppare una intelligenza artificiale (AI) inclusiva, una trustworthy AI, una AI di cui fidarsi, è doveroso affrontare alcune problematiche che emergono da un’analisi delle metodologie e degli algoritmi anche dal punto di vista di genere. Quali sono i problemi che il sempre maggiore diffondersi di applicazioni basate su tecniche di AI possono implicare a livello etico? Quale è il rapporto con le questioni di genere?
Sotto-rappresentazione delle donne nella scienza
Nei giorni dell’insediamento del nuovo governo Draghi si è parlato molto di donne e di parità di genere. Alla voce di Draghi si aggiunge quella autorevole di Linda Laura Sabbadini, direttrice centrale dell’ISTAT. Sabbadini è alla guida del W20, il gruppo internazionale di lavoro sull’empowerment femminile del G20. In un suo interessante articolo intitolato “Nel motore dell’Italia mettiamo la parità” punta a usare il Recovery Plan per sostenere pienamente le donne nei vari aspetti della vita quotidiana a cominciare dalle cure familiari di cui hanno l’esclusiva [Sabbadini 2021].
La parità di genere e l’emancipazione delle donne, del resto, è uno degli obiettivi nell’Agenda 2030 per lo Sviluppo Sostenibile promossa dall’ONU [United Nations 2019]. La diffusione delle tecnologie informatiche ha purtroppo spesso introdotto nuove forme di esclusione e marginalizzazione, talvolta subdole. La criticità del problema è stata evidenziata anche in un recente rapporto dell’UNESCO su parità di genere e intelligenza artificiale [UNESCO 2020].
Una questione centrale riguarda la forte sotto-rappresentazione delle donne, soprattutto in alcuni settori scientifici delle cosiddette STEM (Science, Technology, Engineering, Mathematics), a tutti i livelli [Campanile et al 2021]. In particolare, in 35 paesi europei meno di 1 su 5 laureati in Computer Science sono donne. Le donne, quindi, sono fortemente sotto-rappresentate nelle nuove tecnologie informatiche e nello sviluppo dell’intelligenza artificiale, in settori cioè che sono attualmente in grande crescita e con un forte impatto sulla società e sulle nostre vite. Sembra quasi di trovarci di fronte a un paradosso: più si sviluppa il settore, meno ragazze ci sono [Catarci 2020].
Diventa dunque fondamentale promuovere adeguate politiche di genere per incrementare la presenza femminile, sia a livello educativo che lavorativo e manageriale e far sì che più ragazze si avvicinino alle STEM.
Innovazioni di genere
Migliorare il rapporto fra genere e scienza non si limita al mero incremento del numero delle donne nelle discipline STEM. In una prospettiva più ambiziosa e quindi più efficace occorre anche integrare la dimensione di genere nei contenuti scientifici, non solo a livello della comunicazione ma anche a livello di innovazione. Si parla infatti di Gendered Innovation [European Commission 2020] la cui maggiore esperta mondiale è Londa Schiebinger della Stanford University.
Le innovazioni di genere portano alla creazione di nuova conoscenza scientifica, come testimoniato dai molti casi di studio passati in rassegna da Schiebinger e il suo gruppo. Si va da “Linda” della Volvo, primo manichino gestante al mondo, simulato al computer per le prove d’incidente automobilistico, alla medicina di genere con studi sul cervello, cuore e osteoporosi, a ‘Intelligent Robot Assistants’ fino alla pianificazione della rete urbana tenendo conto del genere.
Come si può integrare una dimensione di genere nella scienza in tutti i campi del sapere? Si tratta di ridisegnare il senso delle domande. Solo una completa ri-definizione del metodo, e delle domande scientifiche per produrre scienza può ri-disegnare la scienza in una prospettiva di genere. Senza un ripensamento di questo tipo i risultati stessi della scienza possono ritenersi non completamente corretti.
I bias negli algoritmi di Machine Learning
Con riferimento all’intelligenza artificiale poniamoci allora la questione: gli algoritmi e le metodologie che l’AI sviluppa, in particolare nel campo del Machine Learning, sono corretti (fair) dal punto di vista di genere?
Recenti studi hanno evidenziato che alcuni tipi di algoritmi di Machine Learning, oggi ampiamente utilizzati in moltissime applicazioni di successo, possono caricare, sussumere e amplificare alcuni bias diffusi nella società. Per questo si parla di Biased Machine Learning.
Cos’è un bias? Un bias è una distorsione nel sistema di conoscenza condivisa nella società, pro o contro qualcosa, e meramente basata su stereotipi e pregiudizi. Gli algoritmi di Machine Learning, come le persone, sono vulnerabili a queste distorsioni. Tali algoritmi, infatti, vengono addestrati con moltissimi esempi di comportamento input-output in modo che possano generalizzare rispetto agli esempi forniti e sviluppare la capacità di prevedere un output in corrispondenza a un input qualunque.
Per loro natura intrinseca, quindi, questi algoritmi possono portare a decisioni “unfair”, non corrette, che possono discriminare alcuni gruppi rispetto ad altri. Secondo [Mehrabi et al, 2019] “fairness is the absence of any prejudice or favoritism toward an individual or a group based on their inherent or acquired characteristics”. Si tenga comunque presente che la stessa definizione di fairness dipende dal contesto e deve tenere conto di specifici scenari applicativi.
Moltissime applicazioni sono affette da bias [Mehrabi et al, 2019]. Particolarmente noto è il caso di Compas, un sistema in grado di prevedere il rischio di recidiva per persone che hanno commesso crimini, che discriminava le persone di colore [Angwin et al 2016]. Inoltre, applicazioni di tecniche di elaborazione del linguaggio naturale o di elaborazione delle immagini in ambiti che spaziano dalla traduzione automatica al riconoscimento facciale, possono presentare questi limiti.
Il problema nasce sostanzialmente perché ancora poca attenzione viene rivolta a come i dati sono raccolti e organizzati nei data-set utilizzati per l’addestramento degli algoritmi implementati in questi sistemi. Per esempio, se un data-set utilizzato per addestrare un sistema di riconoscimento facciale è caratterizzato da una maggioranza di immagini di volti di uomini bianchi, è evidente che il sistema sarà in grado di riconoscere con più accuratezza una immagine di un volto di uomo bianco, piuttosto che di una donna, peggio ancora se di colore [Lohr, 2018].
Cosa accadrebbe se sottoponessimo questi sistemi a un test per valutarne l’etica? Eloquente è quanto affermato da Chiriatti e Floridi a proposito di GPT-3, ovvero che esso avendo imparato da testi redatti da esseri umani, ‘quando gli viene chiesto cosa pensa dei neri, riflette alcune delle peggiori tendenze dell’umanità’ [Chiriatti e Floridi 2020].
I giganti dell’informatica e l’uso responsabile dell’AI
È evidente che deve essere diffusa una piena consapevolezza degli sviluppatori di software per evitare che tali bias vengano in qualche modo formalizzati in un sistema algoritmico. Più in generale, i tech giant possono svolgere un ruolo fondamentale nella promozione di un uso responsabile dell’AI.
Il chief executive Arvind Krishna di IBM ha recentemente affermato che “vendors and users of Al systems have a shared responsibility to ensure that Al is tested for bias, particularly when used in law enforcement”. Applicazioni di sistemi IBM in domini sensibili, quali Face Recognition per il riconoscimento facciale, sono state infatti sottoposte a severo controllo.
Va in tutt’altra direzione il licenziamento della ricercatrice Timnit Gebru, co-leader del team di etica dell’AI presso Google, avvenuto all’inizio di dicembre 2020. Gebru era già nota per la sua posizione contraria all’uso dei sistemi di riconoscimento facciale in ambito legale e forense, per via dei limiti di queste tecnologie legati ai bias di genere e di razza.
A fine novembre 2020 Gebru aveva firmato insieme ad altri collaboratori un articolo che – a detta del manager di Google – non aveva superato gli standard di qualità aziendale e quindi non era stato pubblicato. In seguito alle sue proteste è scattato il licenziamento. Medesima sorte è toccata successivamente alla sua collega e coautrice Margareth Mitchell.
L’articolo incriminato si proponeva di mettere in guardia gli addetti ai lavori dallo sviluppo di modelli intelligenti di elaborazione del linguaggio, per il rischio di introiettare termini e concetti sessisti e razzisti [Bender et al 2021]. Inoltre, denunciava che tra i pericoli della messa a punto di tali sistemi ci sarebbe stato quello di avere un elevato impatto ambientale, con emissioni di anidride carbonica pari almeno a quelle di un volo andata e ritorno New York-San Francisco.
Il licenziamento di Gebru e Mitchell è particolarmente grave da diversi punti di vista. Testimonia inoltre l’adozione della pratica cosiddetta di ethics washing secondo la quale molti giganti dell’informatica, quale Google, fanno solo finta di applicare linee guida e principi di etica dell’AI. Un approfondimento critico delle tecnologie di AI può creare problemi in seno ad alcune aziende a tal punto da portare allo smantellamento delle loro divisioni di etica, come nel caso di Google.
AI e questioni di genere: iniziative recenti in Italia e nel mondo
Una delle più prestigiose conferenze scientifiche di settore, quella organizzata dall’Association for Advancement of Artificial Intelligence (AAAI), ha previsto nell’edizione di quest’anno appena tenutasi un programma espressamente dedicato ai temi della diversità e dell’inclusione. Numerose sono state le attività previste e svariate le declinazioni della diversità, fra cui quelle relative alla dimensione di genere.
Per confrontarsi sulle possibili strade da percorrere per affrontare e auspicabilmente risolvere le questioni aperte sulla dimensione di genere in AI, l’Associazione Italiana per l’Intelligenza Artificiale (AIxIA) ha organizzato lo scorso novembre un evento aperto dedicato espressamente al tema nell’ambito del suo convegno annuale. In quella occasione, esperti di diversa estrazione hanno portato il loro punto di vista, contribuendo validi ed interessanti spunti di riflessione per un dibattito che per sua natura è interdisciplinare.
Video: Convegno Annuale AIxIA 2020
Conclusioni
La questione etica dell’AI, e il suo nesso con le pari opportunità e la parità di genere, è quindi ormai all’attenzione della comunità scientifica internazionale. Anche a livello nazionale qualcosa si è mosso. Diverse iniziative sono in corso, fra cui quelle che mirano ad avvicinare le bambine e le ragazze allo studio dell’informatica o quelle che sostengono le giovani nel loro percorso professionale in ambito ICT. Tuttavia, la svolta decisiva sarebbe una vera e propria innovazione del settore, guidata dalla dimensione di genere, una gendered innovation che by design soddisfi alcuni dei requisiti per una AI affidabile e per un uso responsabile dell’AI [Badaloni e Lisi 2020]. A giudicare dal caso Gebru-Mitchell, c’è molta strada da fare, in salita.
Bibliografia
[Angwin et al 2016] J. Angwin, J. Larson, S. Mattu and L. Kirchner (2016). Machine Bias. There’s software used across the country to predict future criminals. And it’s biased against blacks. ProPublica https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
[Badaloni e Lisi 2020] S. Badaloni, F. A. Lisi: Towards a Gendered Innovation in AI (short paper). In: G. Vizzari, M. Palmonari, A. Orlandini (Eds): Proceedings of the AIxIA 2020 Discussion Papers Workshop co-located with the the 19th International Conference of the Italian Association for Artificial Intelligence (AIxIA2020), Anywhere, November 27th, 2020 http://ceur-ws.org/Vol-2776/paper-2.pdf
[Bender et al 2021] E. M. Bender, T. Gebru, A. McMillan-Major, and Shmargaret Shmitchell. 2021. On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? . In Conference on Fairness, Accountability, and Transparency (FAccT ’21), March 3–10, 2021, Virtual Event, Canada. ACM, New York, NY, USA, 14 pages. http://faculty.washington.edu/ebender/papers/Stochastic_Parrots.pdf
[Campanile et al 2021] G. Campanile, F.M.R. Livelli, D. Majidi, L. Mancini (2021). Donne 4.0: promuovere la leadership femminile nel tech e altri desiderata per il 2021. Agenda Digitale 7/01/2021. https://www.agendadigitale.eu/cultura-digitale/donne-4-0-promuovere-la-leadership-femminile-nel-tech-e-altri-desiderata-per-il-2021/
[Catarci 2020] T.Catarci (2020). Nel digitale tanto lavoro e sempre meno donne. Colpa di modelli sbagliati. Il Messaggero. Obbligati a crescere > Donna. 28 Ottobre 2020 https://www.ilmessaggero.it/obbligati_a_crescere/donna/donne_lavoro_numeri_tiziana_catarci-5549759.html
[Chiriatti e Floridi 2020] M. Chiriatti e L. Floridi (2020). I test di GPT-3: che cosa è davvero l’AI che sembra “umana”. Agenda Digitale 29/12/2020. https://www.agendadigitale.eu/cultura-digitale/gpt-3-natura-ambito-limiti-e-conseguenze/
[European Commission 2020] European Commission (2020). Gendered Innovation 2: How Inclusive Analysis Contributes to Research and Innovation. ISBN 978-92-76-16416-62. https://ec.europa.eu/info/news/gendered-innovations-2-2020-nov-24_en
[Lohr 2018] S. Lohr (2018). Facial Recognition Is Accurate, if You’re a White Guy, The New York Times, 9 feb 2018.
[Mehrabi et al 2019] N. Mehrabi, F. Morstatter, N. Saxena, K. Lerman, A. Galstyan. (2019). A survey on bias and fairness in Machine Learning. https://arxiv.org/abs/1908.09635
[Sabbadini 2021] L.L. Sabbadini (2021). Nel motore dell’Italia mettiamo la parità. IO Donna, Corriere della sera. 20 Febbraio 2021.
[UNESCO 2020] UNESCO (2020). Artificial Intelligence and Gender Equality. Key findings of UNESCO’s Global Dialogue. https://en.unesco.org/AI-and-GE-2020
[United Nations 2019] United Nations (2019). The Sustainable Development Goals Report. .org/sdgs/report/2019/ The-Sustainable-Development-Goals-Report-2019.pdf
