Large language model. Fino a pochi mesi fa solo un grappolo di addetti ai lavori ne conosceva l’esistenza. Ora sono in molti a conoscerli, grazie all’hype e alla diffusione virale di modelli come GPT-3 e GPT-4, ma soprattutto dell’oracolo ChatGPT. Fra le considerazioni “eccellenti” vi è da sicuramente da riportare quella di Paolo Benanti, professore presso la Pontificia Università Gregoriana, esperto di intelligenza artificiale. In un lungo post su LinkedIn, Benanti affronta l’argomento dello sviluppo dei LLM sotto diversi aspetti, da quello etico a quello ecologico.
Benanti parla di LLM in cinque punti, più una introduzione, nella quale cita l’AI Index 2023 dello Stanford Institute for Human-Centered Artificial Intelligence, secondo cui “gli LLM (i Large Linguistic Model come GPT e Bard) sono rilasciati più da aziende (32!!) che non da università e da istituti accademici (3!!)”. Crediamo intenda con ciò sottolineare che dietro ai LLM ci sono gli interessi economici delle aziende, più che quelli scientifici delle università e degli istituti di ricerca. La tesi sembra suffragata dalla testata hi-tech online The Verge, secondo la quale l’AI potrebbe “entrare in una nuova fase di sviluppo”, in cui sono le aziende a guidare l’innovazione, e questo perché cresce la necessità di potenza di calcolo e di altre risorse per creare nuovi modelli di AI.
Segue poi il commento di Benanti su alcuni (5) punti chiave dell’AI Index 2023, riguardanti i LLM.
Punto 1
“Le dimensioni e i costi di addestramento degli LLM multimodali sono saliti alle stelle alla fine del 2021 e hanno continuato a crescere nel 2022. Il Pathways Language Model (PaLM) di Google ha ben 540 miliardi di parametri e ha un costo stimato di 8 milioni di dollari per l’addestramento”.
Che, tradotto, significa: andare oltre questi livelli di prestazioni, come vorrebbe fare OpenAI con GPT-5, necessità di una ingente quantità di fondi, che solo le big tech possono permettersi. Ovvero, un mercato per pochi, elitario, chiuso; l’esatto contrario di quanto esprime lo stesso nome dell’azienda produttrice di ChatGPT, un concetto che, quindi (anche a detta di personaggi illustri, come Elon Musk) si sarebbe perso per strada…
Punto 2
“GPT-3 di OpenAI ha generato 502 tonnellate di CO2 durante la fase di addestramento, la più alta di qualsiasi modello di intelligenza artificiale. Si tratta di una quantità 1,4 volte superiore a quella del modello Gopher di DeepMind. A titolo di confronto, l’americano medio emette circa 18 tonnellate di carbonio all’anno. Un rapporto del 2022 ha rilevato che l’addestramento e i relativi processi di BLOOM LLM equivalgono alle emissioni di carbonio di 60 voli transatlantici”.
Qui il professore della Pontificia Università Gregoriana tocca il tasto della sostenibilità, tanto in voga nell’ultimo periodo. Continuare ad aumentare il numero di parametri dei LLM, ovvero il loro addestramento, potrebbe rivelarsi in contrasto con i criteri ESG (Environmental Social Governance), che stanno diventando ormai un “must” per le aziende, soprattutto quelle hi-tech.
Qualche azienda si sta ponendo il problema di come continuare a far evolvere i modelli di AI generativa senza impattare in modo così rilevante sull’ambiente?
Punto 3
“Gli investimenti privati nell’IA sono diminuiti di anno in anno per la prima volta in 10 anni. Gli investimenti privati globali nell’IA sono stati pari a 91,9 miliardi di dollari nel 2022, con un calo del 26,7% rispetto al 2021. Anche gli investimenti aziendali mondiali nell’IA sono diminuiti nel 2022 rispetto al 2021. L’anno scorso il totale, che comprendeva investimenti privati, M&A, partecipazioni di minoranza e offerte pubbliche, ha raggiunto 189,6 miliardi di dollari, con un’impennata del 1.200% rispetto al 2013”.
Calano gli investimenti privati, eppure le aziende più in vista non smettono di sfornare nuovi modelli, nuove applicazioni di intelligenza artificiale generativa.
Punto 4
“Il numero di progetti di legge sull’IA approvati dai governi mondiali sta crescendo in modo quasi esponenziale. Nel 2022, le agenzie legislative di 127 Paesi hanno adottato 37 leggi contenenti l’espressione ‘intelligenza artificiale’. Rispetto alle quasi zero leggi sull’IA approvate nel 2017. L’anno scorso gli Stati Uniti hanno approvato nove leggi relative all’IA, il maggior numero di tutti i Paesi”.
Questo vuol dire soprattutto una cosa: l’AI inizia a preoccupare i governi, se non a far paura. Il lassismo degli scorsi decenni nei confronti di una scienza che si riteneva di lenta progressione e di non immediata applicazione pratica si è dissolto lasciando il campo all’urgenza di regolamentare una materia con vaste lacune legislative, in un momento in cui la tecnologia sembra correre molto più velocemente della legge. In cui appare evidente che l’AI può avere effetti diretti sulla vita di milioni di persone.
Punto 5
“Il numero di controversie sull’IA è aumentato ogni anno. La maggiore diffusione dell’IA e la maggiore consapevolezza del suo uso improprio hanno portato a un’impennata degli incidenti e delle controversie legate all’IA. Secondo l’archivio AI, Algorithmic, and Automation Incidents and Controversies, nel 2021 sono stati segnalati 26 volte più problemi legati all’IA rispetto al 2012. Un esempio è il video deepfake di Volodymyr Zelenskyy, manipolato digitalmente lo scorso anno, in cui il presidente ucraino invitava i cittadini ad arrendersi alla Russia”.
Deepfake, fake news, deepface. La disinformazione in rete, e non solo, si sta alimentando con i nuovi sistemi di AI. E questo si lega a quanto esposto al punto 4. Preso atto che lo sviluppo dell’AI sta facilitando forme di disinformazione diffusa, è necessario saper utilizzare quella stessa AI per smascherare le bugie, le false notizie, le false immagini, i falsi video. Che sono sempre di più e sempre meno riconoscibili dalla realtà.
Conclusioni
In definitiva, nel suo post sui LLM, Benanti non esprime opinioni ma mette sotto i nostri occhi delle evidenze, dei dati, delle tendenze in atto. Sollecita la nostra attenzione, affinché riflettiamo sul fenomeno dell’apparentemente inarrestabile sviluppo dell’AI (a meno che si ponga un freno dall’esterno), anziché esserne semplici spettatori.
