Come realizzare un sistema di governance per la gestione dell’AI in azienda

Con l’aumento delle capacità dei modelli e l’intensificarsi dei dibattiti a livello regolamentare, l’intelligenza artificiale sta diventando uno strumento che sempre più aziende, in vario modo, vogliono integrare nei loro processi e prodotti. Tuttavia, l’utilizzo (e/o lo sviluppo) di sistemi di intelligenza artificiale pone rischi nuovi e diversificati. La gestione di questi rischi interessa diverse aree di un’azienda: procurement, IT, marketing, R&D, BI, HR, legal e privacy. Per questo motivo, dotarsi di regole interne per controllare e gestire lo sviluppo e l’utilizzo dell’AI in azienda, nonché per consentire l’efficace comunicazione tra diversi dipartimenti aziendali è di fondamentale importanza. La creazione di un framework di governance interna ha enormi benefici non solo in termini di efficienza interna ma anche in ottica reputazionale.

La possibilità di dimostrare accountability nell’utilizzo e sviluppo di soluzioni AI, infatti, può essere un vantaggio competitivo. La dimostrazione di attenzione rispetto ai rischi dell’AI e alla loro mitigazione contribuisce alla creazione di un clima di fiducia nei rapporti con autorità di regolamentazione, partner aziendali, clienti e consumatori.

Un sistema interno di governance per l’AI deve tenere in considerazione l’attività svolta dall’azienda, le sue dimensioni, la tipologia di AI che si intende integrare o sviluppare nonché gli obiettivi che ci si prefigge. Pertanto, non esiste un modello di governance valido per tutte le aziende. Tuttavia, esistono alcuni criteri e buone prassi che è opportuno tenere in considerazione nella stesura del proprio framework interni.

Di cosa parliamo quando parliamo di AI

Il primo passo è identificare cosa si intende regolamentare con il sistema di governance interno. Pertanto, ogni regolamentazione interna dovrebbe partire dalla definizione di AI.

La definizione di AI è tutt’altro che scontata e, infatti, è stata oggetto di acceso dibattito in sede di discussione dell’AI Act in Europa.

Sebbene di recente l’attenzione pubblica si sia concentrata sulla sola intelligenza artificiale generativa, esistono diversi altri sistemi AI che pongono rischi diversi ma non per questo trascurabili.

L’intelligenza generativa è sviluppata per ottenere output indeterminati e variabili nel tempo, dipendenti dalle interazioni con gli utenti. L’AI non generativa può, al contrario, essere costruita secondo una logica binaria, per finalità di decision-making (ad esempio, presenza o assenza di un rischio frode).

Nel definire il campo di applicazione di un sistema di governance, è necessario prendere in considerazione non solo la tipologia di AI che si intende sviluppare e/o utilizzare ma anche il settore in cui essa opererà, la logica sottostante, i dati utilizzati e i tipi di interazione che prevede.

Pertanto, è importante, in primo luogo, mappare chi utilizza (o utilizzerà l’AI) e di che tipo di AI si intende utilizzare.

L’OECD ha sviluppato un framework per la classificazione dell’AI basato su quattro categorie generali, che può essere d’aiuto nella predisposizione di un inventario interno. I criteri e le attività che l’OECD individua come punti di partenza per la categorizzazione di un AI sono:

• Individui e pianeta: identificazione degli utenti e delle parti interessati, nonché dell’impatto su diritti umani, ambiente, società e mondo del lavoro;
• Contesto economico: Il settore industriale in cui l’AI è destinata ad operare (es. sanità, finanza, produzione), la natura critica del modello, il suo impatto e la sua maturità tecnologica;
• Dati e input: i dati e le conoscenze specializzati a partire dalle quali il modello di AI è (o sarà) sviluppato e/o usato come, ad esempio: le fonti, le modalità di raccolta, la struttura, il formato e le proprietà dei dati.
• Il modello AI: la modalità di funzionamento dell’AI, con particolare attenzione ai processi e alle interazioni influiscono su di esso. A tal fine, è necessario valutare se il modello si basa sul machine learning o su una conoscenza esperta (o entrambi) e come sarà usato (identificando obiettivi e indicatori di performance);
• Compiti e risultati: individuare le operazioni che l’AI svolgerà (ad esempio, predizione o riconoscimento, ottimizzazione), unitamente agli output e alle azioni che ne possono derivare.

In che modo l’azienda intende integrare l’AI?

La determinazione dei controlli da impostare sarà, inoltre, fortemente dipendente dalla modalità con cui l’azienda intende integrare l’AI.

Sviluppo di soluzioni AI

Lo sviluppo di soluzioni AI richiederà la costruzione di un framework più strutturato, finalizzato a raggiungere l’obbiettivo di un’AI by design che integri, sin dalla fase di progettazione, i principi di trasparenza, legittimità e accountability. I framework di governance interna di questo tipo dovrebbero consentire di sviluppare responsabilmente l’AI senza appesantire in modo sproporzionato il funzionamento interno dell’azienda.

Acquisizione di soluzioni di terza parte

Diversamente, nell’acquisizione di soluzioni terze è necessario controllare la supply chain e negoziare adeguate misure contrattuali. La valutazione della supply chain va effettuata sin dalla fase di procurement. Alcune domande preliminari che si dovrebbero porre AI fornitori terzi sono, ad esempio:

• Com’è stato costruito e addestrato il sistema?
• Come vengono utilizzati i dati quando il sistema è in funzione?
• Sono state effettuate valutazione di rischi, con particolare riferimento a manipolazioni, inesattezze e discriminazioni?
• Con quale frequenza saranno aggiornate e riviste le valutazioni dei rischi?
• Come sono stati raccolti i dati utilizzati per l’allenamento?
• L’allenamento dell’algoritmo è stato svolto con una base dati adeguata rispetto alla popolazione target? I dati erano adeguati allo scopo prefissato?
• Che tipo di interazione l’azienda, in qualità di utente, può avere con l’AI? Che grado di incidenza è possibile sugli output?
• Come sarà tutelata la proprietà intellettuale degli utenti e dei terzi?

L’esperienza maturata nella compliance in materia di protezione dei dati personali e cybersicurezza, nella valutazione dei responsabili del trattamento e della catena di approvvigionamento potrà essere d’aiuto anche a gestire i rapporti con i fornitori terzi di soluzioni AI.

Utilizzo di strumenti AI da parte di dipendenti dell’azienda

L’utilizzo da parte dei dipendenti di strumenti AI potrebbe essere gestito all’interno dei disciplinari sull’utilizzo di strumenti tecnici, senza la necessità di adottare complessi sistemi di governance. Tali regolamenti interni dovrebbero, in particolare, fornire istruzioni sul rispetto di obblighi di confidenzialità, di proprietà intellettuale e di protezione dei dati personali e predisporre dei meccanismi di escalation interna in caso di dubbi. Per la stessa ragione, dovrebbe essere proibito ai dipendenti l’utilizzo di soluzioni AI, pubblicamente disponibili, che potrebbero porre dei rischi per l’azienda oppure dovrebbero essere consentiti solo in presenza di specifiche misure di garanzia. Predisporre adeguata formazione e assegnare dei ruoli di escalation in caso di dubbi è senz’altro una best practice che può rivelarsi di grande aiuto nella gestione delle risorse umane.

I principi fondamentali del sistema di governance AI in azienda

Esistono diversi principi che possono essere messi alla base di un sistema interno di governance AI. Alcuni sono trasversali e comuni a tutte le aziende mentre altri dipenderanno dal settore produttivo e dagli specifici obbiettivi designati.

I principi fondamentali sono innanzitutto orientati a garantire il rispetto della normativa applicabile. Ciò richiede una valutazione del rispetto del GDPR ma anche della conformità ad altre normative come, ad esempio, quelle relative alla responsabilità da prodotto, ai diritti dei consumatori e alla proprietà intellettuale.

In ogni caso, lo sviluppo e l’utilizzo responsabile di un’AI dovrà tenere in considerazione i principi dei diritti fondamentali che sono individuati dal diritto internazionale, dai trattati UE e dalla costituzione.

I seguenti principi generali minimi, in continuità con quanto indicato dal gruppo ALTAI, dovrebbero essere alla base dei sistemi di governance interna circa lo sviluppo e l’utilizzo di soluzioni AI:

• Rispetto dell’autonomia umana: i sistemi AI non dovrebbero ingannare, manipolare, costringere o condizionare gli individui ma dovrebbero essere strutturati secondo una logica “antropocentrica”. In altre parole, questi dovrebbero supportare e guidare gli umani ma non essere percepiti come tali o annullare la loro indipendenza.
• Prevenzione dei danni: i sistemi AI dovrebbero essere robusti e sicuri, non soltanto da un punto di vista di cybersicurezza e protezione dei dati, ma anche rispetto all’impatto più generale su individui e società. Per questo motivo, sarà necessario prendere in considerazione le eventuali asimmetrie nei rapporti trai soggetti coinvolti in termini di potere, di accesso ai dati, di esperienza, di conoscenza potere e di disparità economica (ad esempio, ponendo particolare attenzione alle possibili conseguenze su consumatori, dipendenti o aziende in rapporto di dipendenza economica).
• Equità e comprensibilità: i sistemi di AI dovrebbero essere costruiti in modo da mitigare o escludere rischi di distorsioni e discriminazioni. Per questo motivo, si rende necessario bilanciare preliminarmente i diversi interessi contrapposti e garantire la proporzionalità delle misure adottate. Allo stesso tempo, la trasparenza informativa sugli obbiettivi, le capacità e il funzionamento di sistemi AI dovrebbero essere assicurata nei confronti di tutti i soggetti coinvolti.

Lungi dall’essere puramente programmatici questi principi devono tradursi in azioni concrete disciplinate nei processi aziendali. Ad esempio, per rispettare i principi di equità e comprensibilità, le aziende dovrebbero integrare procedure specifiche per garantire la tracciabilità dei modelli, la verificabilità e la prevedibilità degli output e la possibilità di contestarli.

Allo stesso tempo, il rispetto dell’autonomia umana impone alle aziende di prendere scelte precise sul livello di intervento umano e sorveglianza umana. Ad esempio, le aziende potrebbero scegliere tra diverse modalità di coinvolgimento di agenti umani:

• Human in the loop: implementando meccanismi di intervento umano nel ciclo decisionale;
• Human on the loop: implementando meccanismi di supervisione umano sulla progettazione e sul funzionamento;
• Human- in command: predisponendo forme di controllo umano penetrante su come e quanto attivare il sistema e sui suoi effetti.

La scelta tra i diversi approcci avrà un diretto impatto anche sugli obblighi giuridici, ad esempio rispetto all’applicazione dell’art. 22 GDPR.

Spesso questi principi interagiscono tra di loro in modo concorde. Ad esempio, la valutazione dell’intervento e della sorveglianza umana è complementare alla determinazione e mitigazione dei rischi di possibili effetti discriminatori. In alcuni casi, tuttavia, potrebbero venirsi a creare dei conflitti. Ad esempio, potrebbero riscontrarsi tensioni trai principi di sicurezza e intervento umano. L’adeguato bilanciamento trai principi individuati richiede l’interazione tra diversi ruoli aziendali e un approccio concreto e consapevole del contesto in cui l’AI sarà utilizzata.

L’individuazione delle diverse fasi del ciclo vita dell’AI

Il ciclo di vita di una AI si sviluppa in molteplici fasi, ciascuna portatrice di rischi diversi e governata da attori diversi. Esistono diversi modelli che descrivono le fasi di sviluppo o utilizzo dell’AI. Sinteticamente, si possono distinguere tre macro-fasi:

1. Preparazione e raccolta dei dati: In questa prima fase, devono essere identificati gli obiettivi che ci si prefigge, le logiche sottostanti e le applicabili normative regolamentari e giuridiche. A questo segue la raccolta, la validazione e la verifica dell’accuratezza dei dati e delle caratteristiche dei dataset interessati sulla base di quanto pianificato e progettato.
2. Modellazione dell’algoritmo: Nella fase di modellazione e allenamento degli algoritmi, è necessario tracciare e valutare il suo funzionamento per poter testare, verificare, validare, calibrare e interpretare l’output. Sulla base dei principi che sono stati indicati dall’azienda come criteri guida, le scelte sul suo funzionamento dovranno essere misurate secondo parametri quantitativi ma anche qualitative.
3. Applicazione e monitoraggio: Nella fase di produzione, è possibile valutare l’esperienza degli utenti, gli impatti (anche quelli inattesi) e l’adeguatezza delle misure messe in atto in condizioni reali.

Ciascuna di queste fasi coinvolge ruoli aziendali diversi, come ad esempio: legal, auditor, data scientist e data engineer, sviluppatori, fornitori di terze parti. L’individuazione dei diversi ruoli che partecipano alle diverse fasi consente di attribuire correttamente le responsabilità all’interno dell’azienda.

Ad esempio, è importante che legali e responsabili di compliance e protezione dei dati siano coinvolti sin dalle fasi di preparazione dei dati e di modellazione dell’algoritmo. Determinare la logica dell’algoritmo prendendo in considerazione sin da subito le norme applicabili, consentirà di ridurre misure ex-post di mitigazione di rischi già presenti.

Le procedure dovrebbero partire da una verifica iniziale dei benefici e delle finalità, nonché della possibilità di sviluppare l’AI responsabilmente e di effettuare modifiche nelle decisioni.

Individuare il modello di governance AI all’interno dell’azienda

La scelta tra orizzontale e verticale

Individuati gli obbiettivi e le operazioni che sottendono alla gestione dell’AI in azienda è necessario valutare se si intende

• creare una struttura di governance specifica per la gestione dell’AI o se si preferisce
• modificare le strutture già presenti in azienda, integrandole per gestire i rischi e i controlli dell’AI.

La scelta dipende da molti fattori: dalle risorse disponibili, nonché dalle valutazioni effettuate nei paragrafi precedenti in tema di tipologia e modalità di implementazione dell’AI nel business aziendale.

In ogni caso, è opportuno effettuare una due diligence inziale delle procedure già esistenti, delle informative privacy e dei documenti contrattuali e precontrattuali direttamente o indirettamente rilevanti nell’ambito della gestione dell’AI, per evitare frammentazioni e conflitti che potrebbero influire sulla corretta gestione dei processi.

Creare una commissione AI all’interno dell’azienda

Una delle possibili opzioni per la gestione dell’AI in azienda è creare una commissione composta, ad esempio, da ingegneri, legali, officer privacy, data scientist o responsabili di R&D deputati alla supervisione dello sviluppo responsabile dell’AI a cui affiancare dei punti di contatto all’interno dei diversi dipartimenti dell’azienda.

Tale Commissione dovrebbe essere incaricata anche di effettuare la formazione necessaria ai diversi team, sia da un punto di vista legale che tecnico, nonché operare come punto di escalation in situazioni critiche.

Individuazione e determinazione dei rischi

L’importanza di un approccio scalabile

La determinazione dei rischi è uno degli elementi portanti anche della bozza di AI. È, di fondamentale importanza evitare la parcellizzazione documentale e procedurale che rischia di creare silos separati e contrastanti conclusioni dalle quali potrebbero derivare responsabilità per la società.

Non è necessario partire da zero nella determinazione dei rischi. Esistono già diverse normative che impongono tale obbligo nei casi sensibili. In particolare, l’esperienza maturata in materia di valutazione di impatto privacy (data protection impact assessment, cd. “DPAI”) può rappresentare un valido punto di partenza per creare soluzioni scalabili.

La descrizione delle attività di trattamento inclusa nelle DPAI costituisce una base solida per poter comprendere il funzionamento dei modelli e l’origine dei dati. La descrizione non dovrebbe essere unicamente tecnica e specialistica ma anche più generale e accessibile. Infatti, i due livelli di descrizione possono essere molto utili non soltanto nel dialogo con eventuali stakeholders (clienti, autorità e partner) ma anche alle funzioni non IT (come, ad esempio, l’ufficio legale) per la stesura delle eventuali informative e documentazioni legali.

Individuazione dei rischi

Sebbene il processo di identificazione dei rischi sia simile a quelli di tradizionali soluzioni software, la valutazione di un sistema AI pone problemi nuovi e diversi:

• i dati utilizzati potrebbero non essere rappresentativi o veritieri, influendo sulla qualità del sistema e sulla sua affidabilità;
• la dipendenza del sistema dai dati per raggiungere gli scopi prefissati nel caso di aumento di volumi e complessità delle richieste potrebbe portare a effetti inizialmente inattesi;
• i dati utilizzati per scopo di training, isolati dal loro contesto potrebbero non essere adeguati in fase di deployment;
• l’utilizzo di modelli che hanno superato la fase di training può comportare rischi di incertezza relativamente alla riproducibilità dei risultati e alla loro validità;
• gli effetti “collaterali” dei sistemi AI possono essere difficilmente prevedibili o identificabili;
• La larga aggregazione e modulazione dei dati pone rischi nuovi in termini di protezione dei dati personali.

Alcuni rischi che dovrebbero essere considerati, a titolo esemplificativo, includono:

• i falsi positivi e negativi;
• le possibilità di allucinazioni;
• la presenza di pregiudizi legati alla scarsa rappresentatività dei data set (e possibile perpetuazione di stereotipi).

La presenza di alcuni trattamenti dovrebbe inoltre portare all’adozione di specifiche cautele. Ad esempio in presenza di:

• particolari categorie di dati;
• interessati vulnerabili (come bambini, disabili, pazienti, gruppi svantaggiati e a rischio esclusione);
• trade secret;
• i trasferimenti di dati extra EEA.

Altri fattori sono invece relativi all’effetto dell’AI nella società ed includono:

• incidenza sulle opportunità date agli individui;
• differenza nella qualità del servizio offerto a una persona rispetto a un’altra.

La determinazione di rischi di discriminazione dovrà partire dall’analisi dell’origine dei dati e, quindi, dalla loro raccolta. Infatti, un insieme di dati non rappresentativo o non accurato potrebbe poi portare a rischi di discriminazione su tutta la filiera secondo il principio “garbage in and garbage out”.

In ogni caso, non tutti i rischi possono essere identificati in fase di sviluppo. Molti dei rischi per i diritti umani e la società emergono nella fase operativa del sistema, dal modo in cui si interagisce con esso e dal modo in cui è gestito. Alcuni esempi sono la possibilità di cd. “data poisoning” ovvero di manipolazione dei dati di allenamento, nella fase di training, ovvero di “model inversion” o anche di inferenza (nella fase di utilizzo).

Valutazione dei rischi

La valutazione dei rischi può essere basata su sistemi di controllo e metriche adeguate relative a tutto il lifecycle che tenga in considerazione i rischi derivanti da sistemi di terze parti o da un utilizzo fraudolento degli utenti.

La determinazione dei rischi dovrebbe innanzitutto considerare l’impatto (in termini di gravità, di numero di soggetti coinvolti) e la probabilità di un rischio. I rischi andrebbero quindi prioritizzati e parametrati rispetto a un livello di tolleranza predefinita.

Un possibile approccio è coinvolgere utenti e soggetti interessati sin dalla fase di sviluppo, ottenendo e prendendo in considerazione il loro feedback. Il confronto con gli stakeholders è anche un buon modo di valutare sin da subito la rappresentatività del pubblico a cui lo strumento AI si dirige, per evitare bias nella fase del risk assessment e comprendere eventuali limiti dello sviluppo responsabile dell’AI.

Monitoraggio continuo

La valutazione dei rischi dovrebbe essere un processo costante in tutte le fasi del lifecycle di una AI, anche eventualmente rivedendo le metriche associate.

In particolare, bisognerà verificare se il sistema AI raggiunge gli scopi prefissati, mappando l’efficacia delle misure prese e i rischi residuali che emergono nonché individuandone nuovi emersi nella fase di deployment.

Le misure organizzative di controllo

I controlli e le misure di mitigazione da implementare sono direttamente collegati alla misura del rischio. Esistono, tuttavia, dei controlli minimi nello sviluppo (o nell’utilizzo) di sistemi AI,

• Trasparenza: gli utenti e i soggetti coinvolti nel sistema AI dovrebbero essere posti in condizione di conoscere le logiche sottostanti ai modelli e criteri di interpretazione degli output, nonché l’interazione con i loro dati personali. L’informazione dovrebbe essere chiara, proattiva e realistica. Gli utenti dovrebbero poter comprendere i trattamenti di dati personali alla base del modello ma anche essere informati dei suoi limiti e dei rischi di inaccuratezza.
• Tracciabilità: la capacità di spiegare o ripetere l’algoritmo è di fondamentale importanza per garantirne un’efficace valutazione continua, per prendere misure adeguate, per porre in essere sistemi di audit e per consentire di rispondere alle esigenze di trasparenza. Nella fase di design, si dovrebbe documentare e tracciare la creazione del modello con report, variabili e meccanismi di cross-validation. La tracciabilità dei processi di decision-making è anche fondamentale in caso di contestazioni, per ricostruire come e perché l’algoritmo è arrivato ad una determinata conclusione e governarne gli effetti.
• Privacy by design e by default:
  1. I dati dovrebbero essere soggetti a misure di autenticazione e verifica rigorose, prima dell’ingestion nel modello;
  2. I dati personali dovrebbero essere minimizzati, in particolare prediligendo data pseudonomizzati o anonimi;
  3. I controlli per l’esercizio dei diritti dovrebbero essere semplici da raggiungere e tailorizzati sulle specifiche applicative dell’AI. Anche alla luce delle basi giuridiche individuati, sarebbe opportuno valutare misure più specifiche per il controllo sui dati.
• Meccanismi di segnalazione: data la grande difficoltà di individuare eventuali effetti distorsivi o discriminatori, gli utenti dovrebbero avere la possibilità di segnalare potenziali problematiche legate non solo alla sicurezza del sistema ma anche a pregiudizi e performance scarse rispetto agli obbiettivi. Allo stesso tempo, le società dovrebbero consentire la contestabilità degli output di una AI, in particolare la possibilità di avere informazioni su come un esito è stato raggiunto e quella di opporsi.
• Misure contrattuali: laddove il sistema di AI sia acquisito da terze parti sarà necessario negoziare e concludere accordi contrattuali adeguati al rischio che, ad esempio, impongano al fornitore l’adozione di un sistema di gestione di rischi, obblighi in termini di record-keeping e trasparenza oltre a generali impegni relativamente a cybersicurezza e accuratezza dei modelli. Inoltre, le misure contrattuali potrebbero includere sistemi di valutazione della qualità e di audit.
• Formazione: i soggetti che a diverso titolo interagiscono con l’AI o che ne influenzano gli output dovrebbero essere formati in modo da evitare che il loro stesso comportamento introduca dei pregiudizi o delle discriminazioni. Allo stesso tempo, la formazione è fondamentale per evitare che i dipendenti utilizzino l’AI in modo pregiudizievole per la proprietà intellettuale della società e i dati personali di fornitori, clienti o altri dipendenti.

Interazione tra società, legge, codice e mercato

La gestione dell’AI sembra riproporre con forza la tensione tra norme sociali, mercato, infrastrutture tecniche e legge che Lawrence Lessig aveva evidenziato agli albori di Internet nel suo “Code and other laws of Cyberspace”. Il “Codice” è sempre più elemento predeterminante nel quale vanno a confluire valori sociali, legge e spinte del mercato.

Pianificare, mappare e governare l’AI è di fondamentale importanza per evitare che gli individui si trovino impotenti di fronte al funzionamento degli stessi. Come affermava Lawrence Lessig “Il Codice non è mai scoperto, è sempre creato e sempre solo da noi”.

Per questo, la definizione di un modello di governance interno alle aziende è quanto mai importante, così come lo è il dibattito pubblico relativamente ai rischi e alle relative misure di controllo.