OpenAI è pronta a lanciare una nuova generazione di embedding models, il nuovo GPT-4 Turbo e i modelli di moderazione, nuovi strumenti per la gestione dell’uso delle API e presto una riduzione dei prezzi relativi a GPT-3.5 Turbo. Inoltre, di default i dati inviati all’API OpenAI non verranno utilizzati per addestrare o migliorare i modelli OpenAI.
Nuovi modelli di incorporamento con prezzi più bassi
OpenAI sta introducendo due nuovi embedding models: un modello text-embedding-3-small più piccolo ed estremamente efficiente, e un modello text-embedding-3-large più grande e potente. Un incorporamento (embedding) è una sequenza di numeri che rappresenta i concetti all’interno dei contenuti come il linguaggio naturale o il codice. Gli incorporamenti facilitano la comprensione delle relazioni tra contenuti da parte dei modelli di apprendimento automatico e altri algoritmi, permettendo loro di eseguire attività come il raggruppamento o il recupero. Essi alimentano applicazioni come il recupero di conoscenze sia in ChatGPT che nell’API Assistants, e molti strumenti per sviluppatori di generazione potenziata dal recupero (RAG).
Un nuovo piccolo embedding model del testo
Text-embedding-3-small è il nuovo modello di incorporamento altamente efficiente e rappresenta un notevole miglioramento rispetto al suo predecessore, il modello text-embedding-ada-002 rilasciato a dicembre 2022. Confrontando text-embedding-ada-002 con text-embedding-3-small, il punteggio medio su un benchmark comunemente utilizzato per il recupero multilingue (MIRACL) è aumentato dal 31,4% al 44%, mentre il punteggio medio su un benchmark comunemente utilizzato per le attività in inglese (MTEB) è aumentato dal 61% al 62,3%.
Il text-embedding-3-small è anche sostanzialmente più efficiente del modello di generazione precedente text-embedding-ada-002. Pertanto, il prezzo del text-embedding-3-small è stato ridotto di 5 volte rispetto a text-embedding-ada-002, passando da un prezzo per 1k token di 0,0001 a 0,00002 dollari. Non si sta deprecando text-embedding-ada-002, quindi, sebbene si raccomandi il modello più recente, i clienti sono liberi di continuare a utilizzare il modello della generazione precedente.
Un nuovo grande embedding model del testo: text-embedding-3-large
Text-embedding-3-large è il nuovo modello di incorporamento più grande della prossima generazione e crea incorporamenti con fino a 3072 dimensioni. Confrontando text-embedding-ada-002 con text-embedding-3-large: su MIRACL, il punteggio medio è aumentato dal 31,4% al 54,9%, mentre su MTEB, il punteggio medio è aumentato dal 61% al 64,6%. Text-embedding-3-large avrà un prezzo di 0,00013 dollari / 1k token.
Supporto nativo per l’abbreviazione degli incorporamenti
L’utilizzo di incorporamenti più grandi, ad esempio memorizzandoli in un negozio vettoriale per il recupero, generalmente costa di più e consuma più calcolo, memoria e archiviazione rispetto all’utilizzo di incorporamenti più piccoli. Entrambi i nuovi modelli di incorporamento sono stati addestrati con una tecnica che permette agli sviluppatori di bilanciare le prestazioni e i costi dell’utilizzo degli incorporamenti. In particolare, gli sviluppatori possono abbreviare gli incorporamenti (cioè rimuovere alcuni numeri dalla fine della sequenza) senza che l’incorporamento perda le sue proprietà rappresentative del concetto passando nel parametro delle dimensioni API. Ad esempio, su MTEB, un incorporamento text-embedding-3-large può essere abbreviato a una dimensione di 256 pur superando un incorporamento text-embedding-ada-002 non abbreviato con una dimensione di 1536. Questo permette un utilizzo molto flessibile.
Ad esempio, quando si utilizza un negozio di dati vettoriali che supporta solo incorporamenti fino a 1024 dimensioni, gli sviluppatori possono comunque utilizzare il nostro miglior modello di incorporamento text-embedding-3-large e specificare un valore di 1024 per il parametro delle dimensioni API, che abbrevierà l’incorporamento da 3072 dimensioni, scambiando una certa precisione in cambio della minor dimensione del vettore.
Altri nuovi modelli e prezzi più bassi
OpenAI introdurrà a febbraio un nuovo modello GPT-3.5 Turbo, gpt-3.5-turbo-0125, e per la terza volta nell’ultimo anno, sta abbassando i prezzi su GPT-3.5 Turbo per aiutare i clienti a scalare. I prezzi di input per il nuovo modello sono ridotti del 50% a 0,0005 dollari /1K token e i prezzi di output sono ridotti del 25% a 0,0015 dollari /1K token. Questo modello avrà anche vari miglioramenti tra cui una maggiore precisione nel rispondere nei formati richiesti e una correzione per un bug che causava un problema di codifica del testo per le chiamate di funzione in lingue non inglesi. I clienti che utilizzano l’alias del modello gpt-3.5-turbo saranno automaticamente aggiornati da gpt-3.5-turbo-0613 a gpt-3.5-turbo-0125 due settimane dopo il lancio di questo modello.
Anteprima GPT-4 Turbo aggiornata
Oltre il 70% delle richieste dei clienti dell’API GPT-4 sono passate a GPT-4 Turbo dal suo rilascio, poiché gli sviluppatori sfruttano il suo aggiornamento del limite di conoscenza, le più ampie finestre di contesto da 128k e i prezzi più bassi. OpenAI ha rilasciato un modello preview aggiornato del GPT-4 Turbo, gpt-4-0125-preview. Questo modello completa compiti come la generazione di codice in modo più completo rispetto al modello preview precedente ed è destinato a ridurre i casi di “pigrizia” in cui il modello non completava un compito.
Il nuovo modello include anche la correzione per il bug che influenzava le generazioni UTF-8 non in inglese. Per coloro che desiderano essere automaticamente aggiornati alle nuove versioni preview del GPT-4 Turbo, OpenAI sta anche introducendo un nuovo alias del nome del modello gpt-4-turbo-preview, che punterà sempre all’ultimo modello preview del GPT-4 Turbo. Nei prossimi mesi OpenAI prevede di lanciare GPT-4 Turbo con visione in disponibilità generale
Modello di moderazione aggiornato
L’API di moderazione gratuita permette agli sviluppatori di identificare testi potenzialmente dannosi. Come parte del continuo lavoro sulla sicurezza, OpenAI sta rilasciando text-moderation-007, il modello di moderazione più robusto fino ad oggi. Gli alias text-moderation-latest e text-moderation-stable sono stati aggiornati per puntare a esso.
Nuovi modi per comprendere l’utilizzo delle API e gestire le chiavi API
OpenAI sta lanciando due miglioramenti della piattaforma per dare agli sviluppatori sia una maggiore visibilità sul loro utilizzo che un controllo sulle chiavi API. In primo luogo, gli sviluppatori possono ora assegnare permessi alle chiavi API dalla pagina delle chiavi API. Ad esempio, una chiave potrebbe essere assegnata in sola lettura per alimentare un cruscotto di monitoraggio interno, o limitata a accedere solo a certi endpoint.
In secondo luogo, la dashboard dell’utilizzo e la funzione di esportazione dell’utilizzo ora espongono metriche a livello di chiave API dopo aver attivato il tracking. Questo rende semplice visualizzare l’utilizzo su un livello per caratteristica, team, prodotto o progetto, semplicemente avendo chiavi API separate per ciascuno.
