Piccolo è bello: OpenAI presenta GPT-4o mini, il modello più economico di piccole dimensioni. L’azienda di Sam Altman prevede che GPT-4o mini amplierà notevolmente la gamma di applicazioni realizzate con l’AI, rendendo l’intelligenza molto più accessibile.
GPT-4o mini, le prestazioni
GPT-4o mini ha ottenuto l’82% su MMLU e attualmente supera GPT-4 nelle preferenze di chat nella classifica LMSYS. È prezzato a 15 centesimi per milione di token in input e 60 centesimi per milione di token in output, un ordine di grandezza più economico rispetto ai modelli di frontiera precedenti e oltre il 60% più economico rispetto a GPT-3.5 Turbo.
GPT-4o mini consente una vasta gamma di compiti grazie al suo basso costo e latenza, come applicazioni che concatenano o parallelizzano molteplici chiamate al modello (ad esempio, chiamando multiple API), passano un grande volume di contesto al modello (ad esempio, intera base di codice o cronologia delle conversazioni), o interagiscono con i clienti attraverso risposte testuali rapide e in tempo reale (ad esempio, chatbot per il supporto clienti).
A oggi, GPT-4o mini supporta testi e visione nell’API, con supporto per input e output di testi, immagini, video e audio previsti per il futuro. Il modello ha una finestra contestuale di 128K token, supporta fino a 16K token in output per richiesta ed è aggiornato fino a ottobre 2023. Grazie al tokenizer migliorato condiviso con GPT-4o, la gestione dei testi non in lingua inglese è ora ancora più economica.
Un piccolo modello con intelligenza testuale superiore e ragionamento multimodale GPT-4o mini supera GPT-3.5 Turbo e altri piccoli modelli nei benchmark accademici sia nell’intelligenza testuale che nel ragionamento multimodale, e supporta la stessa gamma di lingue come GPT-4o. Dimostra anche un’eccellente performance nella chiamata delle funzioni, che può permettere agli sviluppatori di creare applicazioni che recuperano dati o intraprendono azioni con sistemi esterni, migliorando le prestazioni su contesti lunghi rispetto a GPT-3.5 Turbo.
GPT-4o mini, i benchmark
GPT-4o mini è stato valutato attraversando diversi benchmark chiave.
Compiti logici: GPT-4o mini è migliore degli altri piccoli modelli nei compiti logici che coinvolgono sia testi che visione, ottenendo l’82% su MMLU, un benchmark per l’intelligenza testuale e logica rispetto al 77,9% per Gemini Flash e al 73,8% per Claude Haiku.
Competenze matematiche e informatiche: GPT-4 misura eccelle nel ragionamento matematico e nei compiti informatici superando i precedenti piccoli modelli sul mercato. Su MGSM misurando il ragionamento matematico ha ottenuto l’87%, confrontato al 75,5% per Gemini Flash ed al 71,7% per Claude Haiku; su HumanEval misurando le prestazioni nella programmazione ha ottenuto l’87,2%, confrontato al 71,5% per Gemini Flash e al 75,9% per Claude Haiku.
Ragionamento multimodale: mostra anche forti prestazioni su MMMU valutazione del ragionamento multimodale ottenendo il 59,4%, confrontato al 56,1% per Gemini Flash e al 50.
Nell’ambito del processo di sviluppo del modello, OpenAI collaborato con una manciata di partner fidati per comprendere meglio i casi d’uso e i limiti di GPT-4o mini. Aziende come Ramp e Superhuman che hanno riscontrato che GPT-4o mini offre prestazioni significativamente migliori rispetto a GPT-3.5 Turbo per attività come l’estrazione di dati strutturati dai file delle ricevute o la generazione di risposte e-mail di alta qualità quando vengono fornite la cronologia dei thread.
Built-in safety measures
La sicurezza è integrata nei modelli fin dall’inizio e rafforzata in ogni fase del processo di sviluppo. Durante la fase di pre-addestramento, OpenAI filtra le informazioni da cui non vuole che i modelli imparino o producano, come l’incitamento all’odio, i contenuti per adulti, i siti che aggregano principalmente informazioni personali e lo spam. In post-training, allinea il comportamento del modello alle sue politiche utilizzando tecniche come l’apprendimento per rinforzo con feedback umano (RLHF) per migliorare l’accuratezza e l’affidabilità delle risposte dei modelli.
GPT-4o mini ha le stesse mitigazioni di sicurezza integrate di GPT-4o, valutato attentamente utilizzando valutazioni sia automatizzate che umane secondo il quadro di preparazione e in linea con gli impegni volontari.
Più di 70 esperti esterni in campi come la psicologia sociale e la disinformazione hanno testato GPT-4o per identificare potenziali rischi. Gli approfondimenti di queste valutazioni di esperti hanno contribuito a migliorare la sicurezza sia di GPT-4o che di GPT-4o mini.
Sulla base di queste conoscenze, i team di OpenAI hanno anche lavorato per migliorare la sicurezza di GPT-4o mini utilizzando nuove tecniche basate sulla ricerca. GPT-4o mini nell’API è il primo modello ad applicare il metodo di gerarchia delle istruzioni, che aiuta a migliorare la capacità del modello di resistere a jailbreak, iniezioni di prompt ed estrazioni di prompt di sistema. Ciò rende le risposte del modello più affidabili e contribuisce a renderlo più sicuro da usare in applicazioni su larga scala.
Availability and pricing
GPT-4o mini è ora disponibile come modello di testo e visione nell’API Assistants, nell’API Chat Completions e nell’API Batch. Gli sviluppatori pagano 15 centesimi per 1 milione di token di input e 60 centesimi per 1 milione di token di output (all’incirca l’equivalente di 2500 pagine in un libro standard). OpenAI ha in programma di implementare la messa a punto per GPT-4o mini nei prossimi giorni.
In ChatGPT, gli utenti Free, Plus e Team potranno accedere a GPT-4o mini a partire da oggi, al posto di GPT-3.5. Anche gli utenti aziendali avranno accesso a partire dal 22 luglio.
I prossimi passi
Negli ultimi anni, abbiamo assistito a notevoli progressi nell’intelligenza artificiale abbinati a sostanziali riduzioni dei costi. Ad esempio, il costo per token di GPT-4o mini è diminuito del 99% da text-davinci-003, un modello meno capace introdotto nel 2022. Ci impegniamo a continuare questa traiettoria di riduzione dei costi e al contempo a migliorare le capacità del modello.
GPT-4o mini sta aprendo la strada agli sviluppatori per creare e scalare potenti applicazioni AI in modo più efficiente e conveniente. Il futuro dell’AI sta diventando sempre più accessibile, affidabile e integrato nelle nostre esperienze digitali quotidiane e siamo entusiasti di continuare a fare da apripista.
