sicurezza

Gen-AI, i rischi e le possibili azioni di minimizzazione: la nuova bozza di guida operativa del NIST



Indirizzo copiato

Il National Institute of Standards and Technology individua dodici rischi principali, suscettibili di essere aggiornati con l’evolversi del panorama tecnologico. Esaminiamoli in dettaglio, fornendo alcuni esempi concreti che ne rendono più semplice la comprensione

Pubblicato il 4 lug 2024

Carlo Impalà

avvocato – partner e responsabile dip. TMT e Data protection di Morri Rossetti



Intelligenza Artificiale Sicurezza

È ormai evidente come l’intelligenza artificiale generativa (GEN-AI), rappresentata da modelli come ChatGPT, Dall-E e Gemini – giusto per citare soltanto alcuni dei sistemi attualmente più noti – stia rivoluzionando sempre più il modo in cui produciamo quotidianamente contenuti digitali, adattandosi a una vasta gamma di compiti specifici e in grado di automatizzare persino numerosi processi aziendali. Si pensi, ad esempio, a processi di assistenza clienti automatizzata attraverso chatbot avanzati, alla creazione di contenuti di marketing personalizzati, all’analisi o alla generazione di report o altri documenti aziendali, o ancora all’automazione delle risposte nelle campagne di e-mail marketing.

Tuttavia, al fianco di numerose e oggettive opportunità, la GEN-AI porta con sé anche numerosi, nuovi e complessi rischi che richiedono adeguata consapevolezza, un’attenta valutazione e un’altrettanta accurata gestione.

Sfida non facile, soprattutto per tutte quelle organizzazioni che ancora oggi fanno molta fatica a sviluppare e gestire un’adeguata cultura del rischio all’interno dei propri contesti.

Il GenAI Profile del NIST

Per agevolare comunque il compito, il 29 aprile 2024[1], il National Institute of Standards and Technology (NIST) degli Stati Uniti ha pubblicato una bozza di guida operativa denominata “GEN-AI Profile”, complementare all’Artificial Intelligence Management Framework (AI RMF) rilasciato a gennaio 2023, con l’obiettivo di fornire alle organizzazioni strumenti pratici per identificare, valutare e mitigare i rischi specifici associati ai modelli e ai sistemi di GEN-AI, garantendo così un’intelligenza artificiale più affidabile possibile.

Nonostante sia destinato a un utilizzo su base volontaria, il GEN-AI Profile (che è stato aperto alla consultazione pubblica fino al 2 giugno), si caratterizza già in maniera molto positiva per il suo approccio decisamente pragmatico, descrivendo i rischi principali inerenti alla GEN-AI e proponendo oltre 400 misure di mitigazione, applicabili a vari settori e casi d’uso.

I rischi e le soluzioni evidenziati dal GEN-AI Profile

Il NIST individua un totale di 12 rischi principali, suscettibili di essere aggiornati con l’evolversi del panorama tecnologico delle GEN-AI. Vediamoli in dettaglio, cercando di fornire alcuni esempi concreti che ne rendano più semplice la comprensione.

Rischio di accesso facilitato ad armi chimiche, biochimiche, radiologiche e nucleari (CBRN)

    Secondo il NIST, le tecnologie di intelligenza artificiale generativa potrebbero rendere più facile l’accesso alle informazioni sulle armi CBRN, già disponibili pubblicamente, soprattutto online, ma difficili da comprendere per i non esperti. Si pensi, ad esempio, a uno studente universitario che, usando un chatbot di GEN-AI, riesca a sintetizzare più facilmente informazioni complesse su agenti biologici pericolosi, senza avere, tuttavia, la formazione necessaria per gestirli in sicurezza.

    Anche se, ad oggi, si tratta ancora di un rischio meramente potenziale, considerato che la sintesi fisica e l’uso efficace di agenti chimici o biologici continuano a richiedere competenze specifiche e infrastrutture di supporto, la possibilità che tali modelli di GEN-AI rendano più agevole la pianificazione di armi CBRN, nonché la connessione o l’accesso più facilitato a tale tipologia di dati e strumenti, ne richiederebbe comunque un attento monitoraggio.

    grandi modelli linguistici

    Rischio di confabulazione (o allucinazione)

      Il secondo rischio evidenziato dal NIST può verificarsi quando i modelli di GEN-AI generano contenuti errati o falsi.

      Le allucinazioni nei modelli di intelligenza artificiale generativa, come quelli basati su Large Language Model (LLM), sono dovute, infatti, a diverse ragioni tecniche e metodologiche, le cui cause sono dovute principalmente ai seguenti motivi:

      il meccanismo di previsione delle parole: i modelli di AI come GPT (Generative Pre-trained Transformer) sono progettati per prevedere la parola successiva in una sequenza basandosi sulle parole precedenti. Questo meccanismo di previsione può portare a generare informazioni che sembrano plausibili ma che non sono necessariamente accurate o vere. L’AI non comprende il contenuto nel modo in cui lo farebbe un essere umano, ma si limita a generare testo coerente con il contesto statistico;

      • imperfezione dei dati di addestramento: i modelli di AI vengono addestrati su vasti corpus di dati che contengono testi di varia qualità e accuratezza. Se il modello è stato addestrato su dati contenenti errori, informazioni obsolete o inaffidabili, è probabile che riproduca tali errori nelle sue risposte;
      • assenza di comprensione contestuale profonda: gli LLM non hanno una comprensione profonda del contesto o del significato delle informazioni che elaborano. Di conseguenza, possono generare risposte che sembrano sensate ma che mancano di accuratezza contestuale o che combinano informazioni in modi errati.
      • eventuali bias nei dati di addestramento: i modelli di AI possono riflettere bias presenti nei dati di addestramento che possono condurre alla generazione di contenuti distorti o parziali. Ad esempio, se un modello è stato addestrato prevalentemente su fonti che mostrano un certo pregiudizio, è molto probabile che le risposte generate possano riflettere quel pregiudizio.

      In tal senso, i rischi derivanti dalle allucinazioni potrebbero manifestarsi nel caso in cui gli utenti ritengano veritieri risultati in realtà falsi o contenenti pregiudizi, basandosi sull’apparente affidabilità della risposta, sulla logica utilizzata o sulle fonti citate dal modello di GEN-AI, e agendo sulla base di tali informazioni, senza effettuare i necessari controlli (si pensi, al riguardo, ad un analista finanziario che basi le proprie scelte o raccomandazioni di investimento su report generati da sistemi di GEN-AI che includano informazioni errate su una determinata azienda).

      Rischio di raccomandazioni pericolose o violente

        I sistemi di GEN-AI sono inoltre in grado di produrre output, incluse immagini o raccomandazioni che potrebbero incitare o esaltare alla violenza, oppure in grado di suggerire atti di autolesionismo o attività illegali.

        Si tratta di un rischio particolarmente grave se si pensa, come esempi concreti, ad adolescenti che potrebbero ricevere suggerimenti su come auto lesionarsi o su come commettere atti illegali attraverso manipolazioni delle richieste fatte al modello (c.d. “jailbreal”), al fine di eludere i controlli preimpostati dal sistema.

        Rischio privacy dei dati

          In questo caso, il NIST evidenzia e conferma come l’utilizzo di modelli di GEN-AI possa far emergere anche il rischio di compromettere la privacy degli individui, rivelando informazioni che li riguardano o utilizzando in maniera illecita i dati che li riguardano.

          Gli esempi sono numerosi. Si pensi ad un’azienda che utilizzando un sistema di GEN-AI per analizzare dati di clienti, accidentalmente divulghi informazioni personali in maniera non autorizzata, violando le normative sulla protezione dei dati. Oppure al fatto che i modelli di GEN-AI, essendo addestrati sulla base di grandi quantità di dati anche personali, spesso provenienti da fonti pubbliche, potrebbe violare i principi di trasparenza, validità del consenso e di limitazione della finalità previsti dalle normative applicabili in materia.

          O ancora, si immagini di utilizzare risultati o contenuti prodotti mediante l’utilizzo di GEN-AI che contengano pregiudizi o discriminazioni dannose riguardanti persone fisiche.

          Rischio ambientale

            In questo caso il rischio, dovuto al fatto che l’addestramento e l’uso dei modelli di GEN-AI richiede grandi quantità di risorse energetiche, può consistere in un aumento significativo del consumo energetico e dell’impatto ambientale.

            Rischio rapporto essere umano-AI

              Tale rischio fa riferimento ai problemi che potrebbero sorgere nell’interazione uomo-IA, come la dipendenza eccessiva dall’automazione o obiettivi mal definiti (ad esempio, un’impresa che si affida troppo all’AI per le decisioni strategiche, trascurando l’importanza dell’intuizione umana, e compromettendo l’efficacia di determinate decisioni aziendali).

              Rischio per l’integrità delle informazioni

                Come affermato dal NIST, i sistemi di GEN-AI potrebbero facilitare la produzione in larga scala di contenuti falsi, imprecisi e fuorvianti, che creati o diffusi, volontariamente o meno, potrebbero contribuire all’ulteriore rischio di disinformazione (un esempio ormai noto a tutti, infatti, è la creazione dei c.d. deepfake politici in grado di influenzare negativamente l’opinione pubblica).

                Rischio per la sicurezza delle informazioni

                  Il NIST evidenzia altresì come i modelli di GEN-AI possano essere vulnerabili ad attacchi cyber, come hacking e phishing, e come possano essere manipolati per comportamenti indesiderati.

                  In particolare, il NIST fa riferimento al c.d. prompt-injection, ovvero la manipolazione dei sistemi affinché si comportino in modi non voluti, e al c.d. avvelenamento dei dati, ossia la manomissione dolosa di un set di dati di addestramento utilizzato dal modello di GEN-AI al fine di manometterne il funzionamento.

                  Rischio di violazione di diritti di proprietà intellettuale

                    Al pari della proposta di Regolamento europeo (AI Act) giunta ormai al termine del suo iter di approvazione definitiva, e del disegno di legge italiano in materia di intelligenza artificiale (DDL AI)[2] approvato dal Consiglio dei ministri del 23 aprile 2024, anche il NIST evidenzia come i sistemi di GEN-AI potrebbero violare, sia in fase di addestramento che in fase di utilizzo dei risultati prodotti, contenuti eventualmente coperti da copyright o marchi registrati, segreti commerciali o altri contenuti protetti da diritti di proprietà intellettuale di terze parti.

                    Altri rischi

                      Infine, gli ulteriori rischi richiamati dal NIST riguardano la possibile creazione, mediante sistemi di GEN-AI, di contenuti osceni, degradanti e/o abusivi, nonché di contenuti o linguaggi che incitino all’odio o che siano denigratori, nonché il rischio di pregiudizi per la c.d. “catena del valore” che emerge allorché l’utilizzo di componenti di terze parti nei sistemi di GEN-AI sia suscettibile di pregiudicare la trasparenza e la responsabilità nei confronti degli utenti finali (si pensi, ad esempio, quando un’azienda utilizzi dataset non verificati e prodotti da terze parti – in questo caso, i sistemi di GEN-AI – ottenendo risultati inaffidabili che compromettono la qualità del prodotto finale).

                      Le raccomandazioni del NIST

                      Per far fronte ai predetti rischi, il GEN-AI Profile del NIST suggerisce ben 467 azioni volte a mitigarli, articolate nelle seguenti 4 macro-categorie di azioni, ciascuna suddivisa in ulteriori sottocategorie:

                      1. governare (Govern), ovvero creare una cultura di gestione del rischio attraverso, ad esempio, l’adozione di procedure e/o policy aziendali adeguate;
                      2. mappare (Map) ovvero identificare i rischi presenti nel proprio contesto operativo;
                      3. misurare (Measure), ossia valutare, analizzare e tracciare i rischi identificati;
                      4. gestire (Manage), ovvero assegnare priorità ai rischi e adottare le specifiche azioni di mitigazione in base all’impatto previsto.

                      Conclusioni

                      L’invito rivolto a dotarsi di una governance interna che sia flessibile, scalabile e capace di adattarsi costantemente alla rapida evoluzione tecnologica, riveste ormai un’importanza cruciale per tutte le organizzazioni, sia pubbliche che private, sia piccole che di medie e grandi dimensioni, al quale sarà sempre più difficile sottrarsi.

                      Già nelle fasi iniziali di valutazione dell’opportunità di utilizzare o sviluppare un sistema di GEN-AI, le imprese sono quindi richiamate non solo a considerare i benefici di queste tecnologie, ma anche governare, mappare, misurare e gestire i rischi ad esse associati, cercando di porre in essere nel migliore dei modi possibili le azioni concrete di rimedio suggerite anche dal NIST. Si auspica, quindi, che una volta approvato nella sua versione finale, il GEN-AI Profile possa costituire un punto di riferimento e una guida operativa essenziale per aiutare tutti gli stakeholder che intendano garantire una gestione del rischio continua e tempestiva durante l’intero ciclo di vita e di utilizzo dei sistemi di GEN-AI.

                      Note

                      1. In aggiunta al GEN-AI Profile, il NIST ha pubblicato una serie di documenti di “crosswalk” per facilitare la mappatura dei concetti e dei termini tra l’AI RMF e altre linee guida, framework, standard e documenti di regolamentazione. Questi documenti sono sviluppati sia dal NIST che da altre organizzazioni e servono a creare connessioni tra differenti approcci, anche di diverse giurisdizioni, alla gestione del rischio dell’IA, facilitando una cooperazione internazionale più stretta e un allineamento nelle pratiche di gestione del rischio. Svolgono quindi un ruolo cruciale nel favorire la comprensione e l’implementazione armonizzata delle linee guida e dei framework di gestione del rischio dell’IA a livello globale, aiutando le organizzazioni a navigare tra differenti standard e regolamentazioni, e garantendo che i loro sistemi di IA siano conformi alle varie normative internazionali e locali. Tra i crosswalk più recenti si segnala, ad esempio, quello pubblicato il 30 aprile 2024, tra il NIST AI RMF e le linee guida giapponesi per l’IA nel business (Japan AI Guideline for Business, AI GfB). Lista dei Documenti di Crosswalk Titolo del Documento Descrizione Provider BSA Framework Crosswalk tra il Framework BSA per Costruire Fiducia nell’IA e il NIST AI Risk Management Framework BSA ISO-IEC-42001 Crosswalk tra il NIST AI Risk Management Framework e ISO-IEC-42001 Microsoft FDIS23894 Crosswalk AI RMF (1.0) e ISO/IEC FDIS23894 Tecnologia dell’informazione – Intelligenza artificiale – Linee guida sulla gestione del rischio (26 gennaio 2023) NIST OECD/EU/EO13960 Un’illustrazione di come le caratteristiche di affidabilità del NIST AI RMF si relazionano con la Raccomandazione OCSE sull’IA, il Proposto Regolamento sull’IA dell’UE, l’Executive Order 13960 e il Blueprint for an AI Bill of Rights (26 gennaio 2023) NIST Singapore AI Verify Crosswalk tra il NIST AI Risk Management Framework (AI RMF 1.0) e l’AI Verify di Singapore (10 ottobre 2023) NIST A Taxonomy of Trustworthiness for AI Collegando le proprietà dell’affidabilità con la gestione del rischio e il ciclo di vita dell’IA, questo framework supporta l’usabilità collegando la tassonomia più strettamente ai cicli di prodotto effettivi e ai flussi di lavoro (7 dicembre 2023) CLTC, UC Berkeley ISO 5338 & 5339 Crosswalk INCITS-AI tra il NIST AI RMF e ISO 5338/5339 (11 aprile 2024) INCITS Japan AI Guidelines for Business J-AISI/NIST Crosswalk-1 Terminologia (29 aprile 2024) Japan AISI
                      2. Con riguardo all’AI Act, il tema viene affrontato dall’articolo 53, relativo agli obblighi gravanti sui fornitori dei c.d. modelli general-purpose AI, nella cui categoria l’AI Act fa rientrare i grandi modelli di GEN-AI. Quanto invece al DDL IA, si deve far riferimento all’articolo 24, rubricato “Tutela del diritto d’autore delle opere generate con l’ausilio dell’intelligenza artificiale”, il quale aggiunge alla L. 633/1941 (i.e. la legge sulla protezione del diritto d’autore) l’articolo 70-septies.

                      Articoli correlati

                      Articolo 1 di 4