Compatto, ma molto potente. TinyLlama, l’attesissimo modello open source, è arrivato. Con un peso inferiore a 640 megabyte, il modello è stato addestrato su un trilione di token e supera rivali di dimensioni simili.
Il progetto TinyLlama ha preso il via lo scorso settembre, quando un gruppo di sviluppatori ha iniziato ad addestrare un modello minuscolo su trilioni di token. Dopo molto lavoro e qualche battuta d’arresto, il team di TinyLlama ha ora rilasciato il modello. Il modello ha una dimensione di 1 miliardo di parametri ed è stato addestrato su circa un trilione di token per circa tre cicli attraverso i dati di addestramento.
TinyLlama supera altri LLM “open source di “dimensioni “comparabili
Secondo il documento che descrive il modello, il TinyLlama finito supera i modelli linguistici open source esistenti di dimensioni comparabili, tra cui Pythia-1.4B, OPT-1.3B e MPT-1.3B.
I potenziali casi d’uso di TinyLlama potrebbero vedere il modello distribuito sui dispositivi edge, dato che occupa solo 637 MB. Il modello potrebbe anche essere utilizzato per aiutare la decodifica speculativa di modelli più grandi; il team che lo ha creato ha fatto riferimento a un tutorial dell’ex direttore senior di Tesla per l’intelligenza artificiale Andrej Karpathy, che ora lavora presso OpenAI.
Il modello stesso è stato progettato per essere una versione compatta di Llama 2, il modello linguistico open source di Meta, di cui vanta persino la stessa architettura e lo stesso tokenizer, il che significa che può essere inserito e utilizzato in progetti basati su Llama.
Nonostante le sue dimensioni ridotte, TinyLlama può essere utilizzato per compiti a valle e il team che lo ha creato lo definisce “una piattaforma interessante per i ricercatori e i professionisti della ricerca sui modelli linguistici”.
Per esempio, Awni Hannun, ricercatore Apple nel campo dell’apprendimento automatico, ha messo a punto TinyLlama con LoRA in locale, usando solo un Mac Mini da 8 GB, tramite MLX, la suite di strumenti di addestramento open source di Apple.
“Con la sua architettura compatta e le prestazioni promettenti, TinyLlama può consentire applicazioni per l’utente finale su dispositivi mobili e fungere da piattaforma leggera per testare un’ampia gamma di idee innovative relative ai modelli linguistici”, ha dichiarato il team che ha ideato il mini-modello.
E altri TinyLlama sono in arrivo: gli sviluppatori hanno in programma lo sviluppo di “versioni migliorate”, tra cui l’aumento delle prestazioni e della versatilità in varie attività.
Come accedere a TinyLlama
È possibile scaricare gratuitamente TinyLlama tramite GitHub. Sono disponibili anche tutti i checkpoint del modello. TinyLlama è adatto all’uso commerciale secondo la licenza Apache-2.0.
Il team che ha creato il modello consiglia di utilizzare la versione di TinyLlama per la chat, in quanto il tasso di apprendimento del modello di base “non si è ancora raffreddato”.
Piccoli modelli crescono
Recentemente è emersa un’ondata di modelli di AI più piccoli, in considerazione del fatto che le aziende cercano di ridurre i costi di gestione dell’hardware.
Microsoft, ad esempio, ha il suo progetto Phi, che lavora su modelli più piccoli, grandi qualche miliardo di parametri, ma in grado di battere i più grandi. Phi-2, lanciato lo scorso dicembre, ha superato modelli fino a 25 volte più grandi.
Il lancio di Gemini Nano, la versione ridotta del nuovo modello di punta di Google, che avrà una dimensione di circa 3,2 miliardi di parametri, è previsto entro la fine dell’anno.
Secondo Bradley Shimmin, analista capo per l’AI e l’analisi dei dati presso la società di ricerca Omdia, questi modelli più piccoli ottengono buoni risultati perché vengono addestrati su dati sintetici generati da modelli più grandi.
“I dati sintetici stanno già guidando una grande quantità di innovazioni che stiamo vedendo provenire dallo spazio dell’AI generativa stessa, dove ci sono molti di questi modelli più piccoli che in questo momento stanno stupendo le persone grazie alle loro capacità che corrispondono a quelle dei modelli di frontiera come il GPT di OpenAI”.
