OpenAI sta tagliando il prezzo del suo servizio API GPT-3 fino a due terzi. Lo ha annunciato la società sul suo sito web. Il nuovo piano tariffario, che entrerà in vigore il 1° settembre, potrebbe avere un grande impatto sulle aziende che stanno realizzando prodotti basati sul modello di linguaggio di punta di OpenAI (LLM).
La pagina dei prezzi di OpenAI afferma che l’azienda ha fatto progressi nel rendere i modelli più efficienti. In precedenza, OpenAI e Microsoft avevano collaborato per creare un supercomputer per grandi reti neurali. Il nuovo annuncio di OpenAI suggerisce che il laboratorio di ricerca e Microsoft sono riusciti a fare ulteriori progressi nello sviluppo di hardware AI migliore e nella riduzione dei costi di esecuzione di LLM su larga scala.
LLM: un mercato con più giocatori
L’architettura del “transformer”, introdotta nel 2017, ha aperto la strada agli attuali modelli linguistici di grandi dimensioni. I transformer sono adatti per l’elaborazione di dati sequenziali come il testo e sono molto più efficienti dei loro predecessori (RNN e LSTM) su larga scala. I ricercatori hanno costantemente dimostrato che i trasformatori diventano più potenti e precisi man mano che vengono ingranditi e addestrati su set di dati più grandi.
Nel 2020, i ricercatori di OpenAI hanno introdotto GPT-3, che si è rivelato un punto di svolta per le LLM. GPT-3 ha dimostrato che le LLM possono svolgere nuovi compiti senza sottoporsi a cicli di allenamento extra. Ma invece di rendere GPT-3 disponibile come modello open source, OpenAI ha deciso di rilasciare un’API commerciale come parte del suo sforzo per trovare modi per finanziare la sua ricerca.
Il successo di GPT-3 ha incoraggiato altre aziende a lanciare i propri progetti di ricerca LLM. Google, Meta, Nvidia e altre grandi aziende tecnologiche hanno accelerato il lavoro sulle LLM.
GPT-3 ha anche innescato il lancio di diversi progetti open source che miravano a portare le LLM disponibili a un pubblico più ampio. BLOOM di BigScience e GPT-J di EleutherAI sono due esempi di LLM open source disponibili gratuitamente.
E OpenAI non è più l’unica azienda che fornisce servizi API LLM. Hugging Face, Cohere e Humanloop sono alcuni degli altri giocatori in campo. Hugging Face fornisce una grande varietà di trasformatori diversi, tutti disponibili come modelli open source scaricabili o tramite chiamate API. Hugging Face ha recentemente rilasciato un nuovo servizio LLM basato su Microsoft Azure, che OpenAI utilizza anche per la sua API GPT-3.
I progressi nel campo hardware
Uno dei motivi per cui OpenAI e altre aziende hanno deciso di fornire l’accesso API ai LLM sono le sfide tecniche della formazione e dell’esecuzione dei modelli, che molte organizzazioni non possono gestire. Mentre i modelli di machine learning più piccoli possono essere eseguiti su una singola GPU, le LLM richiedono dozzine o addirittura centinaia di GPU.
A parte i forti costi hardware, la gestione delle LLM richiede esperienza nel complicato calcolo distribuito e parallelo. Gli ingegneri devono dividere il modello in più parti e distribuirlo su più GPU, che eseguiranno quindi i calcoli in parallelo e in sequenza. Si tratta di un processo soggetto a guasti che richiede soluzioni ad-hoc per diversi tipi di modelli.
Ma con le LLM che diventano commercialmente attraenti, c’è un crescente incentivo a creare hardware specializzato per grandi reti neurali.
Anche altre grandi aziende tecnologiche stanno migliorando il loro hardware AI. Google ha introdotto la quarta generazione dei suoi chip TPU l’anno scorso e i suoi pod TPU v4 quest’anno. Amazon ha anche rilasciato speciali chip AI e Facebook sta sviluppando il proprio hardware AI. Non sarebbe sorprendente vedere gli altri giganti della tecnologia usare i loro poteri hardware per cercare di assicurarsi una quota del mercato LLM.
Fuori dal taglio dei prezzi gli LLM ottimizzati
Il dettaglio interessante nel nuovo piano tariffario di OpenAI è che non si applicherà ai modelli GPT-3 ottimizzati. L’ottimizzazione è il processo di riaddestramento di un modello pre-addestrato su un set di dati specifici dell’applicazione. I modelli ottimizzati migliorano le prestazioni e la stabilità delle reti neurali nell’applicazione di destinazione. La messa a punto riduce anche i costi di inferenza consentendo agli sviluppatori di utilizzare prompt più brevi o modelli ottimizzati più piccoli per abbinare le prestazioni di un modello di base più grande sulla loro applicazione specifica.
Ad esempio, se una banca utilizzava in precedenza Davinci (il più grande modello GPT-3) per la sua chatbot del servizio clienti, può mettere a punto i modelli Curie o Babbage – più piccoli – su dati specifici dell’azienda. In questo modo, può raggiungere lo stesso livello di prestazioni a una frazione del costo.
Ai tassi attuali, i modelli ottimizzati costano il doppio delle loro controparti del modello base. Dopo la variazione di prezzo, la differenza di prezzo salirà a 4-6x. Alcuni hanno ipotizzato che i modelli ottimizzati siano quelli dove OpenAI sta davvero facendo soldi, motivo per cui i prezzi non cambieranno.
Un altro motivo potrebbe essere che OpenAI non ha ancora l’infrastruttura per ridurre i costi dei modelli ottimizzati (a differenza del GPT-3 di base, in cui tutti i clienti utilizzano lo stesso modello, i modelli ottimizzati richiedono un’istanza GPT-3 per cliente). Se è così, possiamo aspettarci che i prezzi diminuiranno in futuro. Sarà interessante vedere quali altre direzioni prenderà il mercato degli LLM.
