AI GENERATIVA

GPT: panoramica sul Generative Pre-Trained Transformer



Indirizzo copiato

Il termine GPT indica le reti neurali pre-addestrate su grandi dataset non etichettati e capaci di generare contenuti simili a quelli umani. La loro architettura è affascinante ed è un tassello fondamentale per le intelligenze artificiali generative

Pubblicato il 8 nov 2023



GPT

Raramente tre lettere racchiudono un mondo tanto vasto e profondo: GPT è sulla bocca di tutti grazie a ChatGPT e rappresenta per antonomasia la democratizzazione propriamente detta delle AI. È utilizzabile da chiunque e dà ampio sfoggio delle proprie potenzialità senza veli, nel bene e nel male.

Ha un’altra importanza puramente rappresentativa, ossia è tecnologia vera. Una tecnologia, per essere tale, deve rispondere a quattro requisiti capitali: deve essere diffusa, deve essere facile da usare, deve essere economica e deve essere trasparente, ossia gli utenti non devono conoscerne le dinamiche che ne permettono il funzionamento.

Ed è proprio tra queste dinamiche che ci immergiamo, perché sui fondali c’è un mondo meraviglioso.

Come funziona GPT: l’algoritmo di apprendimento automatico

Un passo indietro prima di cominciare: OpenAI, fondazione che si occupa della ricerca sulle Intelligenze artificiali, rilascia modelli GPT che sono l’evoluzione di quelli precedenti, ossia più performanti proprio in virtù dell’addestramento. Il modello più recente, GPT-4, è stato rilasciato a marzo del 2023.

GPT è detto generativo perché la rete neurale di questo modello di apprendimento automatico non si limita a rispondere positivamente o negativamente ma argomenta fornendo un output articolato che entra nel dettaglio della query lanciata dall’utente.

Può sembrare banale ma occorre fare una disquisizione che richiama il lavoro del filosofo americano Daniel Dennett, molto incentrato sulle scienze cognitive e sulla biologia evolutiva. Da questo punto di vista la riflessione da fare nei confronti di GPT è impegnativa e – benché le AI non abbiano alcuna dimestichezza con la logica e la cognizione – occorre fare riferimento al concetto “Competence without comprehension” tanto caro a Dennett. GPT è questo: ha competenze pure non avendo contezza.

La dimostrazione è presto fornita: GPT non sa le lingue ma è in grado di tradurre. Valutare GPT soltanto per la sua venatura tecnologica è un errore, perché siamo agli albori di un’epoca nuova e perché il valore aggiunto non è ciò che fa ma l’enorme lavoro che c’è dietro e che è la somma dell’astrazione di pensiero di chi rende possibile tutto ciò.

Il modello GPT include i dati della formazione iniziale, ossia quello che viene chiamato “input”. Da qui l’algoritmo, per creare contenuti, calcola la possibilità che una parola sia successiva a quelle precedentemente utilizzate. GPT sceglie la parola che ha maggiore probabilità di essere corretta nel contesto. Questo prevede un certo livello di comprensione del testo ma, per quanto questa ipotesi è affascinante, va specificato che GPT non ha raggiunto la capacità di cogliere il contesto e, di conseguenza, le peculiarità descrittiva delle capacità umane. Tutto ciò si traduce in una certa acerbità nel redigere testi che necessitano una comprensione profonda del tema trattato.

GPT

Vantaggi di GPT nell’elaborazione del linguaggio naturale

L’uso di GPT ha diversi vantaggi ma, come vedremo e come abbiamo già accennato, l’entusiasmo che ha suscitato deve fare i conti con i limiti che ancora presenta.

Tra gli atout di rilievo vanno elencati:

  • adattabilità: GPT può essere impiegato per generare testi, per rispondere a domande, per riassumere testi, per la traduzione e per altro ancora
  • comprensione del contesto: il fatto che GPT possa comprendere il contesto di un periodo restituisce forme di linguaggio coerenti
  • precisione linguistica: il testo generato è inappuntabile dal punto di vista della grammatica e della sintassi. Questo favorisce l’uso del modello GPT per la creazione di contenuti online e per i chatbot
  • pre-addestramento: GPT è pre-addestrato su grandi moli di dati e questo è il quid che permette la generazione di risposte accurate. Questo favorisce anche la trasferibilità delle competenze di GPT in altri ambiti, il pre-addestramento ha quindi una sua versatilità
  • addestramento supplementare: addestrando GPT con dei dataset specifici, GPT può essere addestrato a muoversi con maggiore precisione e disinvoltura in contesti peculiari. Per esempio, fornendo i dati di input di settore, GPT può apprendere la terminologia legale oppure quella medica generando testi di alta qualità. Anche in questo caso, le operazioni di tuning, mostrano una preziosa trasversalità

Però non è tutto oro che cola: GPT fa i conti con i propri limiti i quali, peraltro, sono sussidiari alla propria evoluzione. Da una parte ci si può scontrare con un muro difficilmente valicabile perché, almeno nelle sue declinazioni attuali, il modello GPT prende le informazioni dal web ma non si sa sempre quanto queste siano accurate.

Da un’altra parte occorre interrogarsi ulteriormente sulla qualità delle risposte generate perché potrebbero essere plausibili ma non precise, quando non del tutto fuori luogo (il fenomeno delle allucinazioni). Anche i testi “tossici” non sono del tutto da escludere: benché i progressi siano continui e costanti, le AI si portano appresso le schematizzazioni dell’uomo e, tra queste, ci sono anche il sessismo, il razzismo e bias di altra natura. Tutto ciò non deve demonizzare l’uso delle AI ma è necessario che questi problemi vengano superati.

GPT

Come il Generative Pre-Trained Transformer sta avanzando nel campo dell’AI

Un discorso ampio che trova una sintesi in un lavoro di spessore scritto da ricercatori di università cinesi, indiane, libanesi e svedesi.

Uno studio le cui conclusioni richiamano al futuro dei modelli linguistici come GPT, destinati a migliorare costantemente fino a trasformare il modo in cui l’uomo interagisce con le tecnologie e con i suoi simili.

I Large language models continuano a migliorare fornendo un valido supporto alle AI le quali, giova ricordare, sono un costrutto che si basa su elementi cardine quali il Machine learning e il Deep learning. Il contributo dei modelli come GPT allo sviluppo delle AI faciliterà il progresso negli ambiti:

  • del riconoscimento e della comprensione del test
  • delle capacità linguistiche da integrare alle applicazioni le quali aumenteranno per genere e numero
  • della personalizzazione e del fine-tuning, ossia le attività di raffinazione degli input e quindi dei risultati
  • della diminuzione dei costi
  • della versatilità, della scalabilità e dell’accessibilità
  • della risoluzione dei problemi, soprattutto legati ai bias e all’analisi dei dati che alimentano le AI

Tutto ciò all’interno di un circolo virtuoso nel quale i continui miglioramenti dei modelli restituiranno maggiori capacità di crescita e innovazione.

E questo rappresenta un motivo più che valido per fare un uso responsabile dei modelli come GPT.

Sfide e criticità nell’utilizzo del Generative Pre-Trained Transformer

Anche quando si parla di tecnologie si manifesta il dovere di considerare le ricadute etiche e sociali che queste comportano. L’etica, che funge da supervisione alla morale, suggerisce di occuparsi in prima istanza degli effetti primari, senza però disconoscere o ignorare quelli secondari.

Questo significa che occorre usare le tecnologie in modo responsabile e i modelli GPT contengono un grande potenziale di criticità.

Ci sono sfide legate alla distorsione dei dati usati per addestrare i modelli, la privacy, la sicurezza, le ricadute che la creatività demandata a delle AI ha su quella umana e, non da ultimo l’annoso problema della sostituzione se non persino della cancellazione dei posti di lavoro e, parallelamente, le eventuali difficoltà che insorgeranno nella collaborazione tra uomo e macchine.

Le criticità e le sfide risiedono in loro stesse: occorre garantire che GPT e altri modelli vengano usati in modo tale da generare vantaggi per la società e, poiché apprendono dai dati, fare attenzione a come vengono selezionati e arricchiti consentirà un uso più fluido delle AI in genere, affinché possano essere impiegate riducendo i potenziali pericoli per la collettività.

GPT

Come implementare GPT in azienda: consigli pratici

Tutto ruota attorno ai dati e all’uso che se ne vuole fare. Implementare GTP in azienda può significare diverse cose, così come variano gli obiettivi a cui si possono ambire.

I comparti e i flussi nei quali GPT può essere utilizzato sono:

  • formazione del personale
  • comunicazione
  • organizzazione
  • pianificazione delle strategie di business
  • marketing e vendite
  • creatività

Qualsiasi settore aziendale può godere degli atout forniti dai modelli GPT ma ognuno necessita di essere pre-addestrato con dati peculiari e altri comuni a più comparti.

A prescindere dall’uso, occorre avere un’ottima conoscenza delle tecniche di prompting che diventano essenziali per interagire con i modelli come GPT.

Va anche deciso su quali dati GPT deve essere addestrato, rispettando le norme sulla privacy, la compliance e mettendo l’accento sulla sicurezza.

È quindi opportuno cominciare dai dati ed eseguire dei test su scala ridotta per poi aumentare la quantità di dati utili al pre-addestramento.

Prospettive e sviluppi nell’ambito del Generative Pre-Trained Transformer

C’è un dibattito di spessore che affronta l’argomento dei modelli GPT nel mondo della sanità, ed è un dibattito carico di significati perché si snoda attraverso tre aree concettuali, ovvero:

  • ciò che può essere demandato ai modelli GPT
  • ciò che non può essere demandato ai modelli GPT
  • applicazioni realistiche ma impegnative e non prive di sfide dei modelli GPT

La sanità è un comparto chiave per lo sviluppo delle AI e quindi anche dei modelli GPT perché è particolarmente sensibile da ogni punto di vista: è sensibile sotto il profilo della privacy, del riuso dei dati, dell’uso di algoritmi e anche di dispositivi hardware e sensori che, a loro volta, raccolgono e analizzano dati, anche in tempo reale.

Se il comparto della sanità riuscirà a fare un buon uso dei modelli GPT, tutti gli altri comparti godranno dei benefici conquistati e, non di meno, la sanità è il settore chiave per fare cadere le perplessità che ancora sono nutrite nei confronti delle AI in genere e dei capisaldi sui quali si erige.

Etica e responsabilità nell’uso di GPT

Qualsiasi domanda sia sollevata da un tema cruciale trova risposta nell’etica. E non è cosa nuova, ne parlava già Tommaso d’Aquino negli ultimi decenni del 1200 e, benché possa fare specie leggere di filosofia dell’etica su una testa di tecnologia, è onesto ammettere che, nonostante siano passati oltre otto secoli, non ci si è discostati di molto dal pensiero del teologo e filosofo italiano del XIII secolo.

I grattacapi etici che derivano dai modelli GPT sono oggetto di discussione a causa degli impatti negativi che questi potrebbero avere sulla collettività. Gran parte di questi però si concentrano sui pericoli derivanti dalla diffusione di pregiudizi e dai timori che possano causare una rivoluzione nel mondo del lavoro che potrebbe emarginare alcune professioni.

Ci si muove su un terreno minato, nascondersi dietro a un dito non risolve i problemi che sono reali e tangibili. Si possono superare proprio seguendo le indicazioni di Tommaso d’Aquino, che fa appello al diritto alla partecipazione e alla spiegazione, alla divulgazione di ciò che sta accadendo.

Discorso a parte ma non meno importante è la responsabilità degli sviluppatori e delle aziende che ricorrono ai modelli GPT, invitati per trasparenza ed etica a discutere e a valutare ciò che sta accadendo nel comparto delle AI non soltanto dal punto di vista scientifico ma anche da quello filosofico, psicologico e sociologico.

Se c’è una divisione tra informatica, filosofia e sociologia non è così netta come si può credere: le tre branche, diverse tra loro, sono parte del medesimo insieme.

Articoli correlati

Articolo 1 di 2