Un faro nell’overload informativo attuale sull’AI generativa è sicuramente il centro di ricerca di Stanford CRFM (Center for Research on Foundation Models) che da tempo cura, tra l’altro, una autorevole ricerca, pubblicata online e periodicamente aggiornata, dedicata al tema della trasparenza dei modelli AI generativi più in voga. Si tratta di un aspetto chiave nella valutazione di questi strumenti, aspetto molto discusso e, peraltro, privo di una standardizzazione comune.
Come vedremo, i risultati da ultimo pubblicati segnalano dei progressi da parte dei modelli quanto alla trasparenza, il che è in incoraggiante ma non risolutivo. E non va confusa la trasparenza con altri fattori ugualmente importanti come la spiegabilità e l’interpretabilità.
Per capire meglio, offriamo di seguito un percorso per introdurre all’attività del CRFM e la portata dei suoi risultati, limiti compresi.
Trasparenza dell’AI secondo il CRFM
Nel panorama attuale dell’intelligenza artificiale (AI) – il cui epicentro è ormai rappresentato dai notissimi cd. foundation model, basti citare ChatGPT, Gemini, Claude, ecc. – la trasparenza è una componente cruciale che può garantire responsabilità, equità e fiducia dell’utente nell’utilizzo dei sistemi AI.
I foundation model, rispetto ai modelli tradizionali, sono addestrati su un’ampia quantità di dati che consente loro di svolgere una vasta gamma di compiti rendendo di fatto la trasparenza un elemento fondamentale per la comprensione dei sistemi AI. Tanto più se si tratta di modelli generativi, esaminati da Stanford, cioè quelli che creano nuovi dati/contenuti simili a quelli di training (d’altro canto, un foundation model potrebbe avere anche capacità discriminative, di classificazione).
La trasparenza, tuttavia, non solo aiuta a comprendere come funzionano questi sistemi, ma facilita anche l’identificazione e la mitigazione di eventuali rischi o bias associati. Non da ultimo, in un’ottica consumeristica e aziendale – molto statunitense, come è il Centro di Stanford – permette di scegliere meglio sul mercato quanto offerto in materia.
The Foundation Model Transparency Index
Per affrontare tali problematiche, il CRFM ha introdotto un indice (The Foundation Model Transparency Index) che valuta i principali sviluppatori (developer) di modelli di AI in parola, filtrando vari indicatori di trasparenza. Tra questi possiamo trovare per es. la divulgazione delle risorse di calcolo utilizzate, i dataset di training e gli impatti a valle dei modelli.
L’indice viene elaborato alla luce di tre domini, i quali includono, a loro volta, 23 sottodomini e 100 indicatori di trasparenza. I tre domini in cui la trasparenza nei modelli di AI è suddivisa nell’indice sono:
- le risorse upstream riguardanti lo sviluppo dei foundation model; in tale contesto, gli indicatori di trasparenza consentono all’utilizzatore di comprendere come i modelli sono stati addestrati e quali risorse sono state utilizzate; conoscere le origini dei dati e il tipo di calcolo impiegato aiuta l’utente a valutare la robustezza e l’affidabilità del modello, nonché a identificare potenziali bias derivanti dai dati di training;
- le risorse riguardanti il modello i cui indicatori di trasparenza valutano le proprietà e il funzionamento del sistema AI; questo include l’accesso al modello, le sue capacità, i rischi associati e le misure di sicurezza adottate; questi indicatori sono cruciali per gli utenti che devono sapere non solo cosa il modello può fare, ma anche quali sono i suoi limiti e i potenziali pericoli nel suo utilizzo;
- l’uso downstream dei foundation model in cui il livello di trasparenza è valutato relativamente alla fase di rilascio e di distribuzione dei modelli AI; in particolare si analizzano elementi come le politiche di utilizzo, il livello di protezione dei dati personali, l’impatto, le politiche di comportamento del modello e l’ interfaccia utente; per es. al fine di fornire un punteggio nell’ambito del sottodominio sulle politiche di utilizzo, è necessario valutare indicatori come: usi consentiti, limitati e proibiti, il meccanismo di ricorso per violazione delle norme di utilizzo, ecc. Di seguito riportiamo un estratto dal report che mostra, a maggio 2024, i maggiori fattori di valutazione dei nuovi elementi resi noti dai developer e utili per aggiornare la classificazione dei modelli.
Metodologia della ricerca
Oltre a valutare i criteri di trasparenza più opportuni per garantire un uso responsabile dei sistemi AI, è stato testato anche il metodo utilizzato per reperire le informazioni inerenti agli indicatori di trasparenza.
Infatti, nella versione 1.0 del FMTI, lanciato ad ottobre 2023, il gruppo di ricercatori di Stanford ha reperito le informazioni da fonti pubblicamente disponibili per ciascun sviluppatore, attraverso un protocollo sistematico di ricerca su Internet. Questo metodo presenta però potenziali problemi, tra cui la decentralizzazione delle informazioni da reperire (i ricercatori potrebbero non aver individuato tutte le informazioni utili), le relazioni indirette (il collegamento tra un’informazione pubblica e un indicatore può essere indiretto, portando a una maggiore soggettività nella valutazione), la valutazione limitata alla trasparenza attuale (concentrandosi su informazioni pubbliche non si offre loro l’opportunità di divulgare ulteriori informazioni non rese pubbliche) e costi elevati (la ricerca delle informazioni si aggiunge significativamente ai costi di esecuzione dell’indice).
Il nuovo Foundation Model Transparency Index 1.1
La valutazione svolta attraverso le informazioni reperibili pubblicamente ha rivelato una generale opacità nel settore, con un punteggio medio di 37 su 100 e solo un massimo di 54 punti per il miglior sviluppatore. Per misurare i progressi avuti nel tempo e con lo sviluppo dei sistemi AI, il nuovo FMTI v1.1 è stato sviluppato sei mesi dopo, mantenendo gli stessi 100 indicatori ma chiedendo direttamente agli sviluppatori di fornire le informazioni. Questo cambiamento ha alterato le dinamiche rispetto ai quattro problemi menzionati, offrendo maggiore completezza dell’informazione (se si presuppone che gli sviluppatori siano incentivati a rappresentare al meglio i propri modelli AI, le informazioni raccolte dovrebbero essere complete), maggiore chiarezza e oggettività (chiedendo agli sviluppatori di chiarire direttamente le informazioni sugli indicatori, si riducono le incertezze che contribuivano a valutazioni soggettive), maggiori opportunità di trasparenza (consentendo agli sviluppatori di includere informazioni che non sono state rese pubbliche precedentemente ma che diventano pubbliche attraverso questo processo, si creano opportunità per una maggiore trasparenza) e una riduzione dei costi di ricerca.
Tale valutazione ha di fatto migliorato il punteggio medio degli sviluppatori che è salito a 58 su 100, con un miglioramento di 21 punti rispetto alla prima versione. Si trova di seguito il paragone tra i risultati delle due ricerche.
USA vs. UE: visioni diverse della governance dell’AI
L’approccio adottato nella costruzione di questo indice non sembra essere completamente in linea con il contesto giuridico e sociale europeo, rivelando alcune aree di opacità. Uno degli obiettivi fondamentali dell’UE è assicurare che i sistemi di intelligenza artificiale siano distribuiti e utilizzati in modo trasparente e spiegabile.
Il FMTI pone un’enfasi significativa sulla trasparenza, ma sembra trascurare l’importanza di rendere l’utente veramente consapevole delle logiche sottostanti ai sistemi di AI. Questo obiettivo si realizza attraverso la spiegabilità, che consiste nella capacità di un modello di AI di fornire interpretazioni comprensibili delle sue decisioni e operazioni. In altre parole, un modello spiegabile può articolare il “perché” e il “come” delle sue decisioni, rendendo chiaro il percorso logico o statistico che mappa gli input agli output e la relazione tra le caratteristiche di input e le previsioni del modello.
La spiegabilità è vista come una soluzione chiave al problema dell’opacità delle tecnologie “black box”, caratterizzate dalla difficoltà o impossibilità di comprendere il loro funzionamento interno. Un sistema AI spiegabile rende il funzionamento comprensibile per gli esseri umani, fornendo indicazioni chiare e precise sui meccanismi che determinano i suoi output. Questo concetto è cruciale soprattutto per i sistemi AI che prendono decisioni o compiono azioni con un impatto significativo sulla vita delle persone o sui processi aziendali. L’importanza della spiegabilità risiede nella necessità di costruire sistemi di AI affidabili, responsabili e degni di fiducia: se non possiamo comprendere come un sistema prende le sue decisioni, diventa difficile valutarne l’equità, l’imparzialità e la correttezza.
Spiegabilità e interpretabilità, quali differenze
È importante distinguere da ciò l’interpretabilità, che riguarda la capacità di un utente di comprendere i dati offerti dal sistema per es. tramite design e interfacce user-friendly. Un sistema black box offre così una struttura e parametri ispezionabili e comprensibili dagli esseri umani.
In sintesi, le tecniche di spiegabilità forniscono spiegazioni, giustificazioni significative delle decisioni finali di un sistema di AI (il sistema può restare dunque non interpretabile), mentre l’interpretabilità permette di comprendere direttamente la relazione, le regole tra input e output di un modello di apprendimento automatico (dunque il vero e proprio funzionamento).
Per trasformare un sistema black box in uno white box, peraltro, non è sufficiente solo l’interpretabilità: è necessario anche un forte elemento di spiegabilità, soprattutto per modelli complessi. In sintesi, la combinazione di interpretabilità e spiegabilità permette di ottenere una comprensione completa e trasparente del funzionamento e delle decisioni del modello di intelligenza artificiale.
Questi aspetti sono fondamentali per la visione europea della governance dell’AI, poiché impediscono l’esercizio di diritti essenziali degli utenti qualora non siano in grado di capire cosa sia accaduto e perché tramite un sistema di AI. Nell’indice FMTI non troviamo nulla che davvero rifletta questi principi cruciali.
Qualche esempio: GPT-4 e Mistral 7B
Precisato quanto sopra, non resta che lasciare alla lettura completa del report i più interessati, limitandoci qui a segnalare due esempi tra i tanti.
Difatti sul sito web è possibile trovare le schede aggiornate di valutazione di ogni modello, con specifica di ogni parametro valutato e sua spiegazione. Tornando al discorso fatto sopra, non ci si inganni: è vero che tra i parametri troviamo per es. un “output modality”, però non si allaccia a quanto detto su spiegabilità e interpretabilità. Si tratta, nella tassonomia della ricerca FMTI, di quanto segue: “le modalità di output si riferiscono ai tipi o ai formati di informazioni che il modello può accettare come output. Esempi di modalità di output includono testo, immagine, audio, video, tabelle, grafici”.
Passiamo a un player dominante, cioè GPT-4 di OpenAI. Il report di trasparenza evidenzia ancora numerose aree con lacune di informazioni dettagliate, come la dimensione dei dati, le fonti dei dati, i creatori dei dati, e i protocolli di selezione e curation dei dati. La maggior parte delle informazioni acquisite dai ricercatori di Stanford tramite OpenAI, inoltre, non viene divulgata per ragioni di sicurezza e tutela della concorrenza e dei segreti industriali.
Tuttavia sono state fornite alcune informazioni aggiuntive riguardo alla curation dei dati, al filtraggio di contenuti dannosi e alle protezioni per i lavoratori coinvolti nella annotazione dei dati. OpenAI utilizza Microsoft Azure come hardware principale d’uso e ha divulgato le modalità di input e output del modello. Insomma, rispetto all’analisi pregressa, vi è stato un miglioramento della trasparenza così intesa, i margini però di miglioramento sono estesissimi.
Dopo il campione USA, è interessante paragonarlo a un modello europeo di punta come il francese Mistral 7B. Stando al report, sussisterebbe tuttora una mancanza di divulgazione di aspetti topici soprattutto quanto ai dati, quali dimensione dei dataset, fonti, creatori, selezione e curation. Sono state fornite informazioni parziali sul filtraggio dei contenuti dannosi e la mitigazione di rischi per i dati personali. Però si nota come la documentazione del modello è centralizzata e i pesi del modello sono disponibili pubblicamente.
Infine, mancano dettagli su altri aspetti oggi rilevanti, quali il consumo energetico, emissioni di carbonio e impatti ambientali.
Insomma, ognuno è libero di consultare queste analisi e trarne informazioni utili e aggiornate sugli ultimi modelli maggiormente diffusi, il Centro di Stanford non ha lesinato gli sforzi. Il quadro generale è comunque di non marcata trasparenza da parte dei developer, i quali sì stanno migliorando ma sono ancora lontani dal fornire molti elementi che possano davvero garantire una trustworthy AI.
Conclusioni
Il lavoro del CRFM è di valore inestimabile e merita di essere riconosciuto per la libera accessibilità dei suoi risultati di ricerca. Tuttavia, è fondamentale non considerare la trasparenza esaminata dal Centro come l’unico elemento sufficiente per una governance adeguata dei modelli di AI di base.
In Europa, in particolare, l’AI Act e la visione di un rispetto costante dei diritti fondamentali richiederanno l’integrazione dei risultati del CRFM con meccanismi e metriche che valutino anche la spiegabilità dei modelli di AI, quantomeno. Questo permetterà agli utenti di comprendere non solo le funzioni di un modello, ma anche come e perché vengono prese determinate decisioni o generati specifici output.
Un approccio ibrido come questo può contribuire a garantire un uso più responsabile ed etico dei sistemi di AI, promuovendo la fiducia sia degli utenti sia delle autorità regolatorie. Inoltre, consentirà di effettuare le valutazioni necessarie, come l’impatto sulla privacy ai sensi del GDPR e le valutazioni di rischio previste dall’AI Act, supportate da una documentazione significativa. Questa risorsa pubblica e preziosa potrà così svolgere un ruolo fondamentale nella regolamentazione e nella governance dell’AI.
