Ufficialmente il suo nome è “progetto Orion“, ma per tanti si tratta del nome in codice per GPT-5. OpenAI lo ha concepito per rappresentare un salto significativo nella tecnologia dell’AI. Tuttavia, dopo 18 mesi di sviluppo, il progetto è in ritardo e i costi stanno lievitando. Microsoft, il principale partner e investitore di OpenAI, aveva previsto il lancio del nuovo modello per la metà del 2024, ma problemi imprevisti durante i cicli di addestramento hanno rallentato i progressi. Ogni ciclo, che può durare mesi, non ha ancora prodotto i risultati sperati, sollevando dubbi sull’efficacia del progetto e sui costi enormi associati.
I problemi di Orion: costi esorbitanti e dati insufficienti
OpenAI ha condotto almeno due grandi addestramenti, ognuno dei quali richiede mesi di elaborazione di enormi quantità di dati, con l’obiettivo di rendere Orion più intelligente. Ogni volta sono emersi nuovi problemi e il software non è riuscito a raggiungere i risultati sperati dai ricercatori, come affermano persone vicine al progetto. Nella migliore delle ipotesi, dicono, Orion ha prestazioni migliori rispetto alle attuali offerte di OpenAI, ma non è abbastanza avanzato da giustificare gli enormi costi di mantenimento del nuovo modello.
I costi per l’addestramento di GPT-5 sono stimati intorno al mezzo miliardo di dollari per ogni ciclo di sei mesi. Nonostante le aspettative che GPT-5 porti a nuove scoperte scientifiche e migliori le prestazioni delle AI attuali, la carenza di dati di alta qualità rappresenta una barriera significativa. OpenAI ha cercato di mitigare questo problema creando dati da zero e assumendo esperti per generare contenuti specifici per l’addestramento di Orion.
Competizione e turbolenze interne
La competizione nel settore dell’AI è intensa, con aziende come Anthropic e Google che sviluppano modelli avanzati capaci di competere con GPT-4. OpenAI ha dovuto affrontare anche turbolenze interne, con la partenza di figure chiave come Ilya Sutskever e Mira Murati. Nonostante ciò, l’azienda continua a lavorare su Orion, cercando di bilanciare lo sviluppo di nuovi progetti e applicazioni con le risorse limitate disponibili.
La difficile gestazione di GPT-5
Non ci sono criteri prestabiliti per determinare quando un modello è diventato abbastanza intelligente da essere designato come GPT-5. OpenAI può testare i suoi LLM in aree come la matematica e la codifica. Spetta ai dirigenti dell’azienda decidere se il modello è abbastanza intelligente da essere chiamato GPT-5, basandosi in gran parte su sensazioni di pancia o, come dicono molti tecnologi, “vibrazioni”. Finora, le vibrazioni non sono state avvertite.
Altman ha dichiarato che l’addestramento del GPT-4 è costato più di 100 milioni di dollari. Si prevede che i futuri modelli di AI supereranno il miliardo di dollari.
I ricercatori cercano di ridurre al minimo le probabilità di un tale fallimento conducendo i loro esperimenti su scala ridotta, facendo una prova prima della realizzazione vera e propria.
Fin dall’inizio, ci sono stati problemi con i piani per GPT-5. A metà del 2023, OpenAI ha iniziato un addestramento che fungeva anche da test per un nuovo progetto proposto per Orion. Ma il processo è stato lento, indicando che un addestramento più ampio avrebbe probabilmente richiesto un tempo incredibilmente lungo, che a sua volta lo avrebbe reso molto costoso. E i risultati del progetto, denominato Arrakis, indicavano che la creazione di GPT-5 non sarebbe andata così liscia come si sperava.
I ricercatori di OpenAI hanno deciso di apportare alcune modifiche tecniche per rafforzare Orion. Hanno anche concluso di aver bisogno di dati più diversificati e di alta qualità. Secondo loro, la rete pubblica non ne aveva abbastanza.
A novembre, Altman ha dichiarato che la startup non avrebbe rilasciato nulla chiamato GPT-5 nel 2024.
La soluzione dei dati sintetici
La soluzione di OpenAI è stata quella di creare i dati da zero, assumendo persone che scrivano nuovo codice software o risolvano problemi matematici da cui Orion possa imparare. I lavoratori, alcuni dei quali sono ingegneri informatici e matematici, condividono anche le spiegazioni del loro lavoro con Orion.
Molti ricercatori pensano che il codice, il linguaggio del software, possa aiutare i LLM a risolvere problemi che non hanno già visto.
Il fatto che le persone spieghino il loro pensiero approfondisce il valore dei dati appena creati. È un linguaggio in più che il LLM deve assorbire; è anche una mappa di come il modello potrebbe risolvere problemi simili in futuro.
Nell’addestramento all’intelligenza artificiale, un ingegnere informatico potrebbe essere chiamato a scrivere un programma che risolva in modo efficiente un problema logico complesso. Le risposte – e, cosa più importante, il modo in cui raggiungerle – vengono poi incorporate nei materiali di formazione dell’intelligenza artificiale.
OpenAI ha lavorato con esperti di materie come la fisica teorica, per spiegare come affronterebbero alcuni dei problemi più difficili nel loro campo. Anche questo può aiutare Orion a diventare più intelligente.
Il processo è terribilmente lento. GPT-4 è stato addestrato su una stima di 13mila miliardi di token. Mille persone che scrivono 5mila parole al giorno impiegherebbero mesi per produrre un miliardo di token.
OpenAI ha anche iniziato a sviluppare i cosiddetti dati sintetici, o dati creati dall’AI, per aiutare ad addestrare Orion. La ricerca ha dimostrato che il ciclo di feedback dell’AI che crea dati per l’AI può spesso causare malfunzionamenti o dare luogo a risposte insensate.
OpenAI Orion: la sfida del ragionamento
Gli sforzi su Orion hanno portato i ricercatori di OpenAI a un nuovo approccio per rendere un LLM più intelligente: il ragionamento. Secondo i ricercatori, trascorrere molto tempo a “pensare” potrebbe consentire agli LLM di risolvere problemi difficili su cui non sono stati addestrati.
A settembre, OpenAI ha lanciato un’anteprima del suo modello di ragionamento o1 e ha rilasciato la versione completa di o1 all’inizio di dicembre; il 20 dicembre ha presentato o3 e o3-mini, nuovi modelli capaci di superare le prestazioni di o1.
OpenAI o1 offre diverse risposte a ogni domanda e le analizza per trovare la migliore. È in grado di eseguire compiti più complessi, spiegando il proprio ragionamento, il che aiuta il modello a imparare qualcosa da ogni risposta.
I ricercatori di Apple hanno pubblicato di recente un documento che sostiene che i modelli di ragionamento, comprese le versioni di o1, molto probabilmente imitavano i dati che vedevano durante l’addestramento piuttosto che risolvere effettivamente nuovi problemi.
I ricercatori di Apple hanno dichiarato di aver riscontrato “cali di prestazioni catastrofici” se le domande venivano modificate per includere dettagli irrilevanti.
Tutta questa potenza cerebrale aggiuntiva è costosa. OpenAI ora paga per generare più risposte a una singola domanda, invece di una sola.
In un recente discorso TED, uno dei ricercatori senior di OpenAI ha sottolineato i vantaggi del ragionamento: “È emerso che far pensare il bot per soli 20 secondi in una mano di poker ha ottenuto lo stesso incremento di prestazioni di un modello scalato di 100mila volte e di un addestramento 100mila volte più lungo”, ha dichiarato Noam Brown di OpenAI.
Un modello di ragionamento più avanzato ed efficiente potrebbe costituire la base di Orion. I ricercatori di OpenAI stanno perseguendo questo approccio e sperano di combinarlo con il vecchio metodo dell’aumento dei dati, alcuni dei quali potrebbero provenire da altri modelli di AI di OpenAI. OpenAI potrebbe poi perfezionare i risultati con materiale generato dalle persone.
Sempre il 20 dicembre, Altman ha annunciato i piani per un nuovo modello di ragionamento più intelligente di qualsiasi altro modello rilasciato in precedenza dall’azienda. Tuttavia, non ha detto nulla su quando, o se, arriverà un modello degno di essere chiamato GPT-5.
L’obiettivo è combinare questo approccio con l’uso di dati generati da altri modelli di AI e affinare i risultati con contributi umani.
OpenAI Orion: prospettive future e sfide persistenti
Nonostante le sfide, OpenAI continua a credere nel potenziale di Orion. Tuttavia, rimane incerto quando o se un modello che meriti il nome di GPT-5 verrà alla luce. La corsa per superare i limiti attuali dell’AI continua, con OpenAI al centro di questa rivoluzione tecnologica.
