Salesforce dimostra che “less is more” con il modello xLAM-1B, soprannominato “Tiny Giant” (il “piccolo gigante”), che supera in prestazioni i modelli AI più grandi. Il nuovo modello dispone soltanto di 1 miliardo di parametri ma supera modelli molto più grandi nelle attività di chiamata delle funzioni, inclusi quelli dei leader del settore OpenAI e Anthropic. Questo scenario da Davide contro Golia nel mondo dell’AI deriva dall’approccio innovativo alla cura dei dati adottato da Salesforce AI Research.
xLAM-1B, il segreto è nel dataset di alta qualità
Il team ha sviluppato APIGen, una pipeline automatizzata che genera dataset di alta qualità, diversificati e verificabili per l’addestramento dei modelli AI in applicazioni di chiamata delle funzioni. “Dimostreremo che i modelli formati con i nostri dataset curati, anche con solo 7B parametri, possono raggiungere prestazioni all’avanguardia sul Berkeley Function-Calling Benchmark, superando diversi modelli GPT-4″, scrivono i ricercatori nel loro articolo. “Inoltre, il nostro modello da 1B (billion) ottiene prestazioni eccezionali, sorpassando GPT-3.5-Turbo e Claude-3 Haiku.”
Piccolo ma potente: la forza dell’AI efficiente
Questa realizzazione è particolarmente degna di nota data la compattezza del modello, che lo rende adatto per applicazioni su dispositivo dove modelli più grandi sarebbero impraticabili. Le implicazioni per l’AI aziendale sono significative, permettendo potenzialmente lo sviluppo di assistenti AI più potenti e reattivi che possono operare localmente su smartphone o altri dispositivi con risorse computazionali limitate.
Il segreto delle prestazioni di xLAM-1B risiede nella qualità e diversità dei suoi dati di formazione. La pipeline APIGen sfrutta 3.673 API eseguibili in 21 categorie diverse, sottoponendo ogni punto dati a un rigoroso processo di verifica in tre fasi: controllo del formato, esecuzioni effettive delle funzioni e verifica semantica.
Questo approccio rappresenta un significativo cambiamento nella strategia di sviluppo dell’AI. Mentre molte aziende gareggiano nella costruzione di modelli sempre più grandi, il metodo proposto da Salesforce suggerisce che una cura intelligente dei dati può portare a sistemi AI più efficienti ed efficaci. Concentrandosi sulla qualità dei dati piuttosto che sulla dimensione del modello, Salesforce ha creato un modello capace di eseguire compiti complessi con molti meno parametri rispetto ai suoi concorrenti.
Una nuova era della ricerca
L’impatto potenziale di questa scoperta va oltre la sola Salesforce. Dimostrando che modelli più piccoli e più efficienti possono competere con quelli più grandi, Salesforce sta sfidando la credenza prevalente nel settore dell’AI. Ciò potrebbe portare a una nuova ondata di ricerca incentrata sull’ottimizzazione dei modelli di AI piuttosto che sulla loro semplice espansione, riducendo potenzialmente le enormi risorse computazionali attualmente necessarie per le capacità avanzate di AI.
Inoltre, il successo di xLAM-1B potrebbe accelerare lo sviluppo di applicazioni di AI su dispositivo. Attualmente, molte funzioni avanzate di AI si affidano al cloud computing a causa delle dimensioni e della complessità dei modelli coinvolti. Se i modelli più piccoli come Salesforce xLAM-1B sono in grado di fornire capacità simili, potrebbero consentire assistenti AI più potenti che funzionano direttamente sui dispositivi degli utenti, migliorando i tempi di risposta e risolvendo i problemi di privacy associati all’AI basata su cloud.
Il team di ricerca ha reso pubblico il suo set di dati di 60.000 esempi di chiamata di funzioni di alta qualità, una mossa che potrebbe accelerare i progressi nel campo. “Rendendo pubblico questo set di dati, intendiamo favorire la comunità di ricerca e facilitare il lavoro futuro in questo settore”, hanno spiegato i ricercatori.
Immaginare il futuro dell’AI: dal cloud al dispositivo
L’amministratore delegato di Salesforce, Marc Benioff, ha celebrato il risultato su Twitter, sottolineando il potenziale dell'”AI agonica su dispositivo”. Questo sviluppo potrebbe segnare un cambiamento importante nel panorama dell’AI, mettendo in discussione l’idea che i modelli più grandi siano sempre migliori e aprendo nuove possibilità per le applicazioni di AI in ambienti con risorse limitate.
Le implicazioni di questa scoperta vanno ben oltre la linea di prodotti Salesforce. Con la proliferazione dell’edge computing e dei dispositivi IoT, la domanda di potenti capacità di AI on-device è destinata a salire alle stelle. Il successo di Salesforce xLAM-1B potrebbe catalizzare una nuova ondata di sviluppo dell’AI incentrata sulla creazione di modelli iper-efficienti su misura per compiti specifici, piuttosto che di colossi a taglia unica. Questo potrebbe portare a un ecosistema di AI più distribuito, in cui modelli specializzati lavorano in concerto su una rete di dispositivi, offrendo potenzialmente servizi di AI più robusti, reattivi e rispettosi della privacy.
Inoltre, questo sviluppo potrebbe democratizzare le capacità dell’AI, consentendo alle piccole aziende e agli sviluppatori di creare applicazioni sofisticate di AI senza la necessità di enormi risorse computazionali. Potrebbe anche rispondere alle crescenti preoccupazioni sull’impronta di carbonio dell’AI, poiché i modelli più piccoli richiedono una quantità di energia significativamente inferiore per l’addestramento e l’esecuzione.
