L’utilizzo di algoritmi a supporto delle decisioni pubbliche è un fenomeno relativamente recente che si sta diffondendo nella prassi delle amministrazioni ai vari livelli di governo. L’intelligenza artificiale (AI), già in alcuni casi impiegata per automatizzare e semplificare l’accesso alle informazioni e l’istruzione delle istanze negli enti pubblici, se applicata ai processi organizzativi e decisionali potrebbe risolvere problemi strutturali di efficienza ed efficacia delle procedure amministrative e, apportare significativi benefici alla Pubblica Amministrazione: dalla riduzione eccezionale dei tempi e costi di istruttoria procedimentale al miglioramento delle performance e all’ottimizzazione della gestione delle risorse umane. L’AI è poi la base per una transizione verso il data management perché il supporto al processo decisionale grazie alla capacità elaborativa di grandi moli di dati e all’attività predittiva determina un processo di monitoraggio sistematico e selezione delle politiche sulla base dei fatti e conduce, quindi, al data-driven decision making.
L’AI applicata alla Pubblica Amministrazione
Quel che è certo è che l’uso di sistemi di intelligenza artificiale applicati alle attività della Pubblica Amministrazione non determinerà solo cambiamenti organizzativi ma sta già intervenendo sulla natura stessa del procedimento amministrativo e pone interrogativi sostanziali sulla responsabilità e imputabilità delle decisioni amministrative. Questi cambiamenti per non produrre distorsioni ma essere, invece, driver di sviluppo dovranno essere governati da una collaborazione sinergica fra competenze estremamente diverse e spesso orientate al lavoro per silos, non interdisciplinare. Un processo di cambiamento interpretato unicamente dalla tecnica informatica o dalla conservazione dell’immagine giuridica tradizionale rischia infatti di determinare incomprensioni e ritardi nell’accesso dell’AI nelle PPAA, generando l’allargamento del divario in termini di produttività ed efficienza tra settore privato e settore pubblico.
L’algoritmo alla base di una decisione pubblica pone delle questioni giuridiche fondamentali che sono, solitamente, risolte in maniera diversa a seconda dell’ordinamento nazionale e dei suoi valori parametrici, in relazione cioè ai propri valori metagiuridici e alla preminenza dei princìpi del proprio diritto amministrativo: la Trasparenza (funzionale al controllo dell’azione amministrativa) verso la Tutela della Concorrenza (che valorizza la proprietà intellettuale del software), la procedimentalizzazione dell’attività amministrativa (come espressione dell’imparzialità dell’azione pubblica) verso l’Efficacia (corollario del principio del buon andamento della PA).
Non è un caso, infatti, che mentre l’Italia riconosce un diritto di accesso al codice sorgente dell’algoritmo, valorizzando fortemente la sua trasparenza ai fini della tutela dell’interesse legittimo, all’opposto Paesi come gli Stati Uniti facciano prevalere la tutela della proprietà intellettuale del software.
Alcuni casi paradigmatici di AI nella PA
L’automazione delle PPAA alle varie latitudini segnala casi di successo ed evidenti insuccessi dovuti spesso a una errata costruzione del modello o a una scelta sbagliata dei dati sulla base dei quali opera l’algoritmo per la produzione di un determinato risultato.
Tra i primi in Italia si segnala la decisione presa dal M.I.U.R di servirsi di un sistema informatico per la riallocazione del corpo docente sul territorio nazionale, caso vagliato con un pronunciamento del Consiglio di Stato a favore dell’uso di procedure automatizzate. Alcuni docenti di scuola secondaria a seguito della loro assegnazione presso sedi di servizio sulla base dei risultati dell’algoritmo hanno presentato ricorso sostenendo che la procedura informatica avrebbe prodotto un provvedimento amministrativo senza tener conto delle preferenze indicate dalle rispettive domande e privo di motivazione. Ne sarebbe derivato, a parere dei ricorrenti, un pregiudizio al criterio meritocratico e un consistente deficit di trasparenza nelle procedure, posto che risultavano non conoscibili le modalità di funzionamento dell’algoritmo. Il caso ha rappresentato una importante occasione per una prima ricostruzione sistematica del problema, nella sentenza n. 2270 dell’8 aprile 2019 in cui il Consiglio di Stato ha infatti chiarito che l’uso di algoritmi e di procedure automatizzate può essere assimilato a tutti gli effetti ad un «atto amministrativo informatico» poiché regola amministrativa costruita dall’uomo e che, in quanto tale, dovrà necessariamente sottostare a principi di ragionevolezza, proporzionalità, di pubblicità e trasparenza.
Tra gli insuccessi si annovera in Inghilterra il flop dell’algoritmo utilizzato per assegnare agli studenti i voti finali della maturità, che sono determinanti per l’accesso ai College. Circa il 40% dei voti calcolati dalla procedura informatica è risultato inferiore ai voti espressi dagli insegnanti a fine corso. I risultati, infatti, sono stati assegnati in base non solo all’andamento scolastico, all’esito degli esami interni e alle valutazioni degli insegnanti come inizialmente annunciato, ma l’algoritmo adottato da Ofqual (l’agenzia governativa che gestisce i voti a livello nazionale) ha tenuto in considerazione altri fattori come i voti di ingresso all’inizio del percorso scolastico e il ranking degli istituti. Il risultato delle scelte attuate è stato discriminatorio, le istruzioni dell’algoritmo hanno infatti determinato una penalizzazione ingiusta per coloro che pur avendo un alto profitto provenivano da contesti disagiati e scuole meno qualificate. Provocando rabbia e proteste a Londra, al grido di “fuck the algorithm“, davanti a Downing Street. Esempio paradigmatico di quanto gli algoritmi possano funzionare male in assenza di obiettivi condivisi e ben definiti e se le formule alla loro base -costruite e aggiornate da esseri umani- tengono conto di parametri errati o il cui peso non è correttamente valutato.
Particolare delicatezza riveste poi l’applicazione di AI nel campo della sicurezza pubblica e del diritto penale. I dipartimenti di polizia negli Stati Uniti e nel Regno Unito utilizzano la tecnologia di riconoscimento facciale per identificare potenziali sospetti e l’analisi di big data per la definizione di trend dei comportamenti criminali (pre-crime). Giudici e tribunali iniziano a fare affidamento sull’apprendimento automatico per guidare le decisioni in merito a condanne, cauzioni o libertà condizionale. A fronte di buone pratiche registrate negli ultimi anni per ridurre i tempi di istruttoria, la non accuratezza di alcune metodologie predittive adottate ha più volte prodotto decisioni discriminatorie, ad esempio di natura geografica o legate a un pregiudizio razziale. Caso emblematico di problema di bias: quando i sistemi di apprendimento automatico sono addestrati su set di dati distorti, inevitabilmente incorporeranno nei loro modelli le disuguaglianze sociali presenti alla base dei dati.
In Cina, che utilizza sistemi totalitari di sorveglianza più intrusivi, è da tempo operativo un meccanismo di credito sociale (simile alla nostra patente di guida a punti) in cui ai cittadini, categorizzati e profilati in base a una raccolta sistematica di big data e all’uso di algoritmi, vengono assegnati o decurtati dei punteggi in funzione della bontà o meno dei loro comportamenti sociali (sulla base di regole definite dal Governo). Lo scopo di tali punteggi è predeterminare il comportamento futuro e allocare risorse e assegnare idoneità per usufruire di servizi pubblici. I cittadini che rispettano le regole ricevono dei premi (sussidi, encomi pubblici), se invece infrangono le regole vengono inseriti in un elenco di persone “interruttori di fiducia” (una black list a tutti gli effetti) e possono subire privazioni di diritti e limiti all’accesso ad alcuni benefit o servizi pubblici (sanzioni su sussidi, limiti all’avanzamento di carriera, alla proprietà di beni e alla possibilità di ricevere titoli onorifici dal governo cinese, restrizioni di viaggio in aereo o treni AV).
I tre gradi di interazione dell’intelligenza artificiale con la Pubblica Amministrazione
È quindi evidente che l’applicazione delle diverse tecniche di AI in diversi settori della pubblica amministrazione ponga questioni diversificate anche geograficamente.
Le esperienze di applicazione di soluzioni di intelligenza artificiale maturate nella pubblica amministrazione, nella stragrande maggioranza dei casi, non hanno prodotto sinora problemi di adeguamento normativo e sono state ben inquadrate dalla giurisprudenza laddove sono intervenute per automatizzare in maniera tracciabile iter procedimentali interni a bassa complessità e alto costo, standard e routinari, senza invadere il campo delle scelte discrezionali.
Altre soluzioni di AI più complesse, in cui è lo sviluppatore a implementare le regole decisionali, utilizzano l’apprendimento automatico (Machine Learning) per identificare schemi ricorrenti e, su questa base, assumere una decisione o fare una previsione. È logico prevedere che l’utilizzo di sistemi di apprendimento automatico supervisionato, anche con un tasso medio di successo elevato, determini consensi diversi a seconda dell’interesse in gioco e del bene tutelato. In questo caso il problema può nascere in relazione alla presenza di più interessi da tutelare, quando le istruzioni per il loro contemperamento rimangano insufficienti o indeterminate.
E, infine, ci sono i più sofisticati sistemi di intelligenza artificiale che usano reti neurali profonde che possono auto-apprendere, anche senza la supervisione umana. Il Deep Learning (DL) negli ultimi anni ha consentito l’implementazione di algoritmi che risolvono problemi che il Machine Learning e altre tradizionali tecniche di AI non consentivano o per i quali il margine di errore nelle predizioni era ancora significativamente elevato. Ciò al prezzo di una considerevole perdita in termini di trasparenza, controllo e tracciabilità.
Le reti neurali profonde non permettono, infatti, una piena “interpretabilità” (explainability) del processo decisionale attraverso il quale i sistemi AI/Deep Learning arrivano a una decisione specifica e quindi di comprendere quali fattori o dati siano stati decisivi nella produzione di un determinato risultato. In questi casi si pone la questione cruciale e tuttora aperta della “AI black box” (la scatola nera dell’intelligenza artificiale).
Il procedimento amministrativo così come lo conosciamo, tramite i suoi principi, tutela il cittadino, dall’Autorità. Tale tutela diventa a rischio di fronte alla mancata trasparenza e conoscibilità delle AI black box. Si interromperebbe un lungo cammino che oggi, tramite accesso e partecipazione al procedimento, apertura dei dati, trasparenza totale anche grazie al digitale sta conducendo verso un modello di democrazia più matura e deliberativa.
Il problema di una decisione al buio pone poi anche un problema di assenza di un controllo antropocentrico e quindi della legittimazione democratico-elettiva della decisione pubblica. Ed è anche un problema sostanziale rispetto all’incertezza circa la capacità degli algoritmi di Deep Learning di generare di per sé un’adeguata affidabilità interpretativa semantica.
È certamente vero che la quotidianità ci ha abituato a errori sintattici e semantici anche evidenti nell’attività decisionale umana in tutti i campi compresa la PA. Ma l’errore umano è leggibile e giustiziabile proprio alla stregua dei parametri di ragionevolezza e corrispondenza ai canoni del diritto, in quanto ristretto in percorsi e provvedimenti limitati ed intellegibili quantitativamente.
La PA è quindi un terreno scivoloso proprio per il necessario contemperamento di diversi interessi potenzialmente conflittuali. È più facile accettare errori nel policy making tradizionale che esiti di decisioni assunte sulla base della attività non trasparente o evidente del Deep Learning. Ciò aggrava il problema di obiettivi ed istruzioni chiari e determinati per gli algoritmi e di una loro evoluzione nella capacità semantica.
La tutela delle persone tra legislazione e giurisprudenza
L’articolo 22 del GDPR (Regolamento Ue2016/679) ha fissato una regola di tutela secondo la quale l’interessato al trattamento dei dati ha diritto di non essere sottoposto a una decisione basata unicamente sul trattamento automatizzato, compresa la profilazione, che produca effetti giuridici che lo riguardano o che incida in modo analogo significativamente sulla sua persona. Ha diritto quindi a che le decisioni che lo riguardano non siano basate esclusivamente sulla decisione algoritmica, fatte salve alcune eccezioni.
Su tale regola si innesta il principio fissato dal Consiglio di Stato nella sentenza 8472/2020 che ha sancito proprio il principio della non esclusività della decisione algoritmica. Il diritto a un processo decisionale dove la valutazione umana abbia un ruolo e non sia interamente devoluto a procedure informatiche.
Possiamo dedurre quindi che mentre sono certamente ammissibili algoritmi di ausilio all’attività amministrativa che supportano le decisioni umane dell’amministrazione, operando un supporto quantitativo nella elaborazione di dati e processando istruzioni umane, non risultano ancora compatibili col nostro diritto amministrativo decisioni autonome dell’AI, fondate su algoritmi di deep learning, dove la scelta si fonda su un percorso logico non ricostruibile e dove esiste una discrezionalità della scelta che viene rimessa al buio in capo alle valutazioni non evidenti per l’uomo dell’AJ.
Il problema della diffusione di algoritmi evoluti di AI e deep learning è quindi più che mai aperto sugli aspetti di accountability dell’algoritmo che risultano decisivi nella valutazione di compatibilità amministrativa. Aspetti di trasparenza della decisione come possibilità di verificare la sequenza delle valutazioni e delle istruzioni applicate alla mole di informazioni che determinano il risultato finale al fine di consentire il sindacato di legittimità della scelta. Di imputazione della decisione anche nella dimensione dell’apprezzamento di merito della scelta nel circuito democratico.
Se lo schema della scelta autoritativa nel nostro ordinamento si fonda sulla evidenza della sequenza logica di decisione, attribuire il potere di scelta ad una elaborazione non ricostruibile fa venire meno la legittimazione democratica del potere stesso di scelta. Tutto ciò cancella il diritto alla partecipazione al procedimento amministrativo come elemento del diritto di cittadinanza. Ciò impedisce la tutela degli interessi pubblici e privati. Quella che potremmo chiamare una deep and blind decision come potrebbe essere giustiziata?
La sua logica dovrebbe essere accettata aprioristicamente da una attribuzione di legittimità ideologica all’AI e porterebbe la tutela del cittadino di fronte alle decisioni pubbliche indietro di oltre un secolo in nome di una presunta neutralità dell’intelligenza artificiale.
Tale neutralità, maggiore e tendenzialmente massima, è invece un valore prezioso e perseguibile attraverso la costruzione di un procedimento amministrativo digitale che si avvale dell’AI proprio per garantire maggiore imparzialità. Una ricostruzione-identificazione del procedimento amministrativo-algoritmo che elimini l’asimmetria informativa e di potere tipica del rapporto PA – cittadino, ma non la sostituisca in una identificazione dell’interesse pubblico con l’intelligenza artificiale, portando al contrario in chiaro il lato oscuro del deep learning e rifiutando la deriva della black box society.
Senza evidenza del processo decisionale verrebbero meno gli elementi cardine della tutela dell’interesse legittimo: l’obbligo di motivazione e la sua ragionevolezza.
Il motivo per cui non è secondaria tale investigazione-evoluzione sta nel significato storico della procedimentalizzazione dell’azione amministrativa che è stato il tentativo di dare forma giuridica definita all’esercizio dell’autorità. In Europa il primato della legge nasce come limite dell’esecutivo, attraverso la creazione di regole poste nell’interesse generale e la codificazione di atti tipici attraverso i quali ridurre l’arbitrio del potere esecutivo.
Il risultato è stata la progressiva riduzione della discrezionalità amministrativa e la crescente ammissione di spazi di tutela degli interessi del privato verso la PA. Il procedimento amministrativo nasce quindi come garanzia per arginare il potere assoluto e si sviluppa in una funzione garantista.
La conseguenza è che a valle dell’interesse pubblico fissato dalla norma e rinvenibile nel fine dell’atto amministrativo il margine di discrezionalità, inteso come contemperamento degli interessi rispetto al fine pubblico, ha una dimensione di autonomia che la decisione amministrativa porta con sé. Tale discrezionalità deve rispondere sempre ad un sindacato di legittimità per scongiurare l’eccesso di potere, nel mentre rimane precluso sinora un sindacato di merito della scelta.
Obiettivo: ridurre la discrezionalità, non delegarla
Un altro limite nel design dell’algoritmo è in riferimento al concetto di discrezionalità. La PA ben potrebbe decidere di annullare la propria discrezionalità, scrivendo nell’algoritmo le istruzioni necessarie, ma non di delegarla ad una logica artificiale esterna non predeterminata, senza una legittimazione democratica delle scelte ed istruzioni esplicite.
Intelligenza artificiale (AI) e reti neurali profonde per l’apprendimento automatico (DL) pongono quindi questioni di imputazione del potere amministrativo.
L’attività amministrativa e il suo potere trovano la legittimazione nel circuito democratico elettivo e di delega, di cui la burocrazia è indiretta espressione e tale potere non potrebbe essere a sua volta delegato ed esternalizzato in maniera cieca alla AI black box.
Il punto di arresto della ricostruzione di una teoria del procedimento amministrativo digitale è proprio quindi la misura tecnica in cui il prodotto del deep learning può essere messo in chiaro e spiegato. La spiegazione dell’evidenza artificiale, dedotta da una mole di dati e di operazioni incalcolabili, non evidente alla mente umana.
Intelligenza artificiale e Pubblica Amministrazione: giuristi e informatici, un lavoro congiunto
Per consentire l’accesso dell’automazione nell’attività della PA, oltre gli spazi meramente esecutivi della “amministrazione vincolata” occorre quindi un lavoro congiunto di giuristi e informatici affinché il meccanismo garantistico di tutela che si fonda sul modello giuridico del procedimento amministrativo e di legittimazione democratica della PA non venga travolto. Il complesso processo di ponderazione e valutazione degli interessi ha quindi bisogno di una legittimazione politica umana oltre che di una affidabilità e verificabilità semantica.
Va sottolineato infatti che il vantaggio differenziale e l’interesse delle PP.AA. a utilizzare procedure digitali e Big Data (e quindi algoritmi) non sia solo nella possibilità di utilizzare maggiori quantità dei dati in sé (è latente una visione riduttiva da parte dei giuristi verso l’AI) ma nella qualità e quindi nella capacità dell’algoritmo di interpretarli. Per semplificare, interessa la prevalenza dell’euristica sulla casistica, dell’intelligenza sulla quantità.
Da ciò discende che è proprio l’evoluzione della capacità semantica e della codificazione dei processi logici degli Algoritmi a potere determinare maggiori margini di trasparenza, imparzialità e giustizia amministrativa.
La ricerca di una teoria del procedimento amministrativo digitale e algoritmico che non stravolga i valori e i parametri del procedimento amministrativo nativo umano è quindi lo scenario dell’implementazione delle tecnologie digitali e dell’Agenda Digitale come settore che sta ormai sostituendosi alla tradizionale corrente di riforma della PA.
Una soluzione che sembra rispondere alla contrapposizione tra obsolescenza del diritto e fiducia acritica in un mondo digitale totalmente neutrale per trovare delle soluzioni compatibili tra diritto ed informatica attraverso un percorso incrementale. L’approccio delle Pubbliche Amministrazioni dovrebbe pertanto essere diversificato e prevedere:
– la diffusione incontestata di algoritmi per attività routinarie e senza margine di discrezionalità umana (automazione), per procedimenti interni a basso valore ma ad elevato costo di risorse;
– l’uso di algoritmi cooperativi con finalità di supporto alle decisioni (machine learning), di tecniche di Big Data Analytics e Info Data Visualization per coadiuvare i funzionari nell’interpretazione di dati e fenomeni, per procedimenti in cui è necessario elaborare grandi volumi di informazioni per giungere a risultati affidabili in tempi ragionevoli;
– la sperimentazione di tecniche di deep learning in casi d’uso di elevata complessità tipici della PA che prevedono anche margini di discrezionalità umana, per iniziare ad introdurre in ambiti specifici e caratterizzati delle prime applicazioni di sistemi AI/deep learning. Avvalendosi dell’uso di tecniche e strumenti open source per rendere maggiormente interpretabili i risultati delle scatole nere dell’AI, con un processo trial and error e test di Explainable AI per l’interpretazione umana del processo decisionale, finalizzato a correggere eventuali bias cognitivi, dataset utilizzati per il training e bug del modello. Tale da far sì che quest’ultimo possa essere perfezionato apprendendo costantemente dall’essere umano che lo utilizza.
Questo approccio potrebbe permettere agli enti che si occupano della regolamentazione di tenere in conto dei risultati di sperimentazioni specifiche per la PA e di questo possibile scenario per implementare progresso della AI e del procedimento amministrativo digitale.
Se non si lavorerà celermente in tal senso il rischio è quello di accumulare ritardi e ulteriore divergenza di produttività e capacità amministrativa tra il settore pubblico e quello privato, congelando per la PA l’impatto della rivoluzione digitale.
L’obiettivo sociale è replicare migliorandolo il processo di garanzia del diritto nella decisione algoritmica proprio per ammettere l’algorithmic decision making come pilastro di una democrazia di precisione fondata sul data management. Tale processo già oggi deve tutelare le persone da decisioni viziate da parzialità, emotività e pregiudizi. E in aggiunta, si dovrà operare per preservare la decisione pubblica da “algoritmi autoritari”, non espressione del processo democratico. I super strumenti dell’intelligenza artificiale potranno così dare un contributo straordinario e non rinunciabile in termini di imparzialità, efficienza e risultato.
Video: intervento di Fabiana Dadone, ministro per la Pubblica Amministrazione, al Forum PA 2020
Bibliografia
Diana-Urania Galetta e Juan Gustavo Corvalán. Intelligenza Artificiale per una Pubblica Amministrazione 4.0? Potenzialità, rischi e sfide della rivoluzione tecnologica in atto. Federalismi. n.3/2019. federalismi.it – ISSN 1826-3534. 6 Febbraio 2019.
Maria Cristina Cavallaro e Guido Smorto. Decisione pubblica e responsabilità dell’amministrazione nella società dell’algoritmo. Federalismi. n.16/2019. federalismi.it – ISSN 1826-3534. 4 Settembre 2019.
Guglielmo Iozzia. L’Intelligenza artificiale deve essere “spiegabile”, ecco i progetti e le tecniche. Agendadigitale.eu, (ISSN 2421-4167). 25 Novembre 2019.
Roberto Pardolesi e Antonio Davola. Algorithmic legal decision making: la fine del mondo (del diritto) o il paese delle meraviglie? Questione Giustizia n.1/2020.
Alessandro Longo e Guido Scorza, Intelligenza Artificiale, L’impatto sulle nostre vite, diritti e libertà. Mondadori Università. ISBN: 9788861848085. 2020.
Elio Errichiello. Algoritmi nella PA: accesso al software e diritti del produttore, i paletti del Consiglio di Stato. Agendadigitale.eu, (ISSN 2421-4167). 5 Febbraio 2020.
Biancamaria Raganelli. Decisioni pubbliche e algoritmi: modelli alternativi di dialogo tra forme di intelligenza diverse nell’assunzione di decisioni amministrative. ISSN 1826-3534 Federalismi. federalismi.it – ISSN 1826-3534. 22 Luglio 2020.
Diane Coyle. The tensions between explainable AI and good public policy. Brookings Institution Press. September 15, 2020.
