“Oggi stiamo compiendo i prossimi passi verso la trasformazione dell’AI open source in uno standard industriale. Stiamo rilasciando Llama 3.1 405B, il primo modello di AI open source di frontiera, nonché i nuovi e migliorati modelli Llama 3.1 70B e 8B. Oltre ad avere un rapporto costo/prestazioni significativamente migliore rispetto ai modelli chiusi, il fatto che il modello 405B sia aperto lo renderà la scelta migliore per la messa a punto e la distillazione di modelli più piccoli”.
Mark Zuckerberg affida a Facebook il suo annuncio, il 23 luglio 2024. In un lungo post svela tutta la linea che Meta sta seguendo nello sviluppo di nuovi modelli di AI.
Meta è impegnata nell’AI open source
“Oltre a rilasciare questi modelli, stiamo lavorando con una serie di aziende per far crescere l’ecosistema più ampio. Amazon, Databricks e Nvidia stanno lanciando suite complete di servizi per supportare gli sviluppatori nella messa a punto e nella distillazione dei propri modelli. Innovatori come Groq hanno realizzato servizi di inferenza a bassa latenza e a basso costo per tutti i nuovi modelli. I modelli saranno disponibili su tutti i principali cloud, tra cui AWS, Azure, Google, Oracle e altri. Aziende come Scale.AI, Dell, Deloitte e altre sono pronte ad aiutare le imprese ad adottare Llama e ad addestrare modelli personalizzati con i propri dati. Con la crescita della comunità e lo sviluppo di nuovi servizi da parte di altre aziende, possiamo rendere Llama uno standard industriale e portare i vantaggi dell’A a tutti”, scrive ancora Zuckerberg.
Il messaggio principale che egli vuole trasmettere è: Meta è impegnata nell’AI open source. “Vi illustrerò perché ritengo che l’open source sia il miglior stack di sviluppo per voi – prosegue il Ceo di Meta -, perché l’open sourcing di Llama è un bene per Meta e perché l’AI open source è un bene per il mondo e quindi una piattaforma che resterà in vita a lungo termine”.
Perché l’AI open source è un bene per gli sviluppatori
Prosegue Zuckerberg nel suo post-fiume su Facebook: “Quando parlo con sviluppatori, amministratori delegati e funzionari governativi di tutto il mondo, di solito sento diversi temi:
- Dobbiamo addestrare, mettere a punto e distillare i nostri modelli. Ogni organizzazione ha esigenze diverse che possono essere soddisfatte al meglio con modelli di dimensioni diverse, addestrati o messi a punto con i loro dati specifici. Le attività on-device e di classificazione richiedono modelli di piccole dimensioni, mentre le attività più complesse richiedono modelli più grandi. Ora sarete in grado di prendere i modelli Llama più avanzati, continuare ad addestrarli con i vostri dati e quindi ridurli a un modello di dimensioni ottimali, senza che noi o chiunque altro possa vedere i vostri dati.
- Abbiamo bisogno di controllare il nostro destino e di non essere bloccati da un fornitore chiuso. Molte organizzazioni non vogliono dipendere da modelli che non possono gestire e controllare autonomamente. Non vogliono che i fornitori di modelli chiusi possano cambiare il loro modello, alterare le loro condizioni d’uso o addirittura smettere di servirli completamente. Inoltre, non vogliono essere vincolati a un unico cloud che ha diritti esclusivi su un modello. L’open source consente un ampio ecosistema di aziende con catene di strumenti compatibili che possono passare da una all’altra con facilità.
- Dobbiamo proteggere i nostri dati. Molte organizzazioni gestiscono dati sensibili che devono proteggere e che non possono inviare a modelli chiusi tramite API cloud. Altre organizzazioni semplicemente non si fidano dei fornitori di modelli chiusi per i loro dati. L’open source risolve questi problemi consentendo di eseguire i modelli ovunque si desideri. È ben noto che il software open source tende a essere più sicuro perché viene sviluppato in modo più trasparente.
- Abbiamo bisogno di un modello che sia efficiente e conveniente da eseguire. Gli sviluppatori possono eseguire l’inferenza su Llama 3.1 405B sulla propria infrastruttura a circa il 50% del costo dell’uso di modelli chiusi come GPT-4o, sia per le attività di inferenza rivolte all’utente che per quelle offline.
- Vogliamo investire nell’ecosistema che sarà lo standard a lungo termine. Molte persone vedono che l’open source sta avanzando a un ritmo più veloce rispetto ai modelli chiusi e vogliono costruire i loro sistemi sull’architettura che darà loro il massimo vantaggio a lungo termine”.
Llama 3.1 405B, una finestra di contesto di 128mila token
Il modello è stato addestrato su oltre 15 trilioni di token, un processo che ha richiesto diversi mesi utilizzando 16.000 GPU H100 di Nvidia.
Ha una finestra di contesto di 128.000 token, l’equivalente di 96.241 parole. Sebbene non sia grande come i 2 milioni di lunghezza del contesto di Gemini 1.5 Pro, il nuovo modello Llama di Meta ha migliorato le capacità di ragionamento, il che significa che può elaborare e comprendere sequenze di testo più lunghe in modo più efficace.
Instead of designing a complex system underneath the giant new model, Meta’s AI engineers instead employed a standard decoder-only transformer model architecture adapted with minor changes.
Il team che ha costruito il nuovo modello ha anche intrapreso diversi cicli di post-addestramento, creando dati sintetici che sono stati utilizzati per modificare e migliorare progressivamente le prestazioni del modello.
Perché l’AI open source è un bene per Meta
Si parte da un assunto: il modello di business di Meta consiste nel costruire le migliori esperienze e servizi per le persone. “Per farlo – spiega Zuckerberg – dobbiamo assicurarci di avere sempre accesso alla migliore tecnologia e di non essere bloccati nell’ecosistema chiuso di un concorrente che può limitare ciò che costruiamo.
Una delle mie esperienze formative è stata quella di costruire i nostri servizi limitati da ciò che Apple ci lascia costruire sulle sue piattaforme. Tra il modo in cui tassano gli sviluppatori, le regole arbitrarie che applicano e tutte le innovazioni di prodotto che bloccano, è chiaro che Meta e molte altre aziende sarebbero libere di costruire servizi molto migliori per le persone se potessimo costruire le versioni migliori dei nostri prodotti e se i concorrenti non potessero limitare ciò che possiamo costruire. A livello filosofico, questa è una delle ragioni principali per cui credo fermamente nella costruzione di ecosistemi aperti nel campo dell’IA e dell’AR/VR per la prossima generazione di computer”.
Le argomentazioni che il Ceo di Meta affida al social network sono molteplici. “In secondo luogo, mi aspetto che lo sviluppo dell’intelligenza artificiale continui a essere molto competitivo, il che significa che l’open sourcing di un determinato modello non comporta un vantaggio enorme rispetto ai modelli migliori in quel momento. Il percorso di Llama per diventare lo standard del settore consiste nell’essere costantemente competitivo, efficiente e aperto generazione dopo generazione.
In terzo luogo, una differenza fondamentale tra Meta e i fornitori di modelli chiusi è che vendere l’accesso ai modelli di intelligenza artificiale non è il nostro modello di business. Ciò significa che rilasciare apertamente Llama non compromette le nostre entrate, la nostra sostenibilità o la nostra capacità di investire nella ricerca come avviene per i fornitori chiusi.“
Meta ha una lunga storia di progetti open source
“Abbiamo risparmiato miliardi di dollari rilasciando i nostri progetti di server, reti e data center con Open Compute Project e facendo sì che le catene di fornitura si standardizzassero sui nostri progetti”, continua Zuckerberg. “Abbiamo beneficiato delle innovazioni dell’ecosistema grazie all’open sourcing di strumenti leader come PyTorch, React e molti altri. Questo approccio ha sempre funzionato per noi, se lo seguiamo a lungo termine”.
Perché l’AI open source è un bene per il mondo
Dal particolare all’universale. Zuckerberg allarga la sua visione oltre gli interessi degli sviluppatori e della sua azienda. “Credo che l’open source sia necessario per un futuro positivo dell’AI. L’AI ha più potenziale di qualsiasi altra tecnologia moderna per aumentare la produttività, la creatività e la qualità della vita dell’uomo e per accelerare la crescita economica, sbloccando al contempo i progressi della ricerca medica e scientifica. L’open source garantirà che un maggior numero di persone in tutto il mondo abbia accesso ai benefici e alle opportunità dell’AI, che il potere non sia concentrato nelle mani di un numero ristretto di aziende e che la tecnologia possa essere utilizzata in modo più uniforme e sicuro in tutta la società”.
La sicurezza dei modelli di AI open source
“La mia opinione è che l’AI open source sarà più sicura delle alternative. Penso che i governi concluderanno che è nel loro interesse sostenere l’open source perché renderà il mondo più prospero e più sicuro.
Il mio quadro di riferimento per comprendere la sicurezza è che dobbiamo proteggerci da due categorie di danni: quelli non intenzionali e quelli intenzionali. Il danno non intenzionale si verifica quando un sistema di AI può causare un danno anche se non era nelle intenzioni di chi lo gestisce. Ad esempio, i moderni modelli di AI possono inavvertitamente fornire consigli sanitari sbagliati. Oppure, in scenari più futuristici, alcuni temono che i modelli possano involontariamente auto-replicarsi o iper-ottimizzare gli obiettivi a scapito dell’umanità. Il danno intenzionale si verifica quando un cattivo attore utilizza un modello di intelligenza artificiale con l’obiettivo di causare danni”.
Secondo Zuckerberg, “il danno involontario copre la maggior parte delle preoccupazioni che le persone nutrono nei confronti dell’AI: dall’influenza che i sistemi di AI avranno sui miliardi di persone che li utilizzeranno alla maggior parte degli scenari fantascientifici veramente catastrofici per l’umanità. Su questo fronte, l’open source dovrebbe essere significativamente più sicuro, poiché i sistemi sono più trasparenti e possono essere ampiamente esaminati”.
Poi passa a descrivere il processo di sicurezza adottato da Meta. “Il nostro processo di sicurezza prevede test rigorosi e red-teaming per valutare se i nostri modelli sono in grado di provocare danni significativi, con l’obiettivo di ridurre i rischi prima del rilascio. Poiché i modelli sono aperti, chiunque è in grado di eseguire i test. Dobbiamo tenere presente che questi modelli sono addestrati da informazioni già presenti su Internet, quindi il punto di partenza quando si considera il danno dovrebbe essere se un modello può facilitare un danno maggiore rispetto alle informazioni che possono essere recuperate rapidamente da Google o da altri risultati di ricerca”.
“Credo che sarà meglio vivere in un mondo in cui l’AI sia ampiamente diffusa, in modo che gli attori più grandi possano controllare il potere di quelli più piccoli”, si esprime Zuckerberg. “È così che abbiamo gestito la sicurezza sui nostri social network: i nostri sistemi di AI più robusti identificano e bloccano le minacce di attori meno sofisticati che spesso utilizzano sistemi di AI su scala ridotta. Più in generale, le istituzioni più grandi che utilizzano l’AI su scala promuoveranno la sicurezza e la stabilità in tutta la società. Finché tutti avranno accesso a generazioni simili di modelli – cosa che l’open source promuove – i governi e le istituzioni con maggiori risorse di calcolo saranno in grado di controllare i cattivi attori con meno calcolo”.
Come gli Usa e le nazioni democratiche dovrebbero gestire la minaccia di stati con risorse enormi come la Cina
“Il vantaggio degli Stati Uniti è l’innovazione decentralizzata e aperta. Alcuni sostengono che dobbiamo chiudere i nostri modelli per impedire alla Cina di accedervi“, sentenzia Zuckerberg. “Ma io credo che questo non funzionerà e svantaggerà solo gli Stati Uniti e i loro alleati. I nostri avversari sono bravissimi nello spionaggio, rubare modelli che stanno in una chiavetta è relativamente facile e la maggior parte delle aziende tecnologiche è ben lontana dall’operare in modo tale da rendere più difficile questa operazione. La cosa più probabile è che un mondo di soli modelli chiusi si traduca in un piccolo numero di grandi aziende e di avversari geopolitici che hanno accesso a modelli di punta, mentre le startup, le università e le piccole imprese perdono opportunità. Inoltre, limitare l’innovazione americana a uno sviluppo chiuso aumenta la possibilità di non essere affatto all’avanguardia”.
La conclusione del pensiero di Zuckerberg è che l’AI open source rappresenti la migliore possibilità per il mondo di sfruttare questa tecnologia per creare le maggiori opportunità economiche e di sicurezza per tutti. “Con questa release stiamo adottando un approccio diverso”, spiega. “Stiamo creando dei team interni per consentire al maggior numero possibile di sviluppatori e partner di utilizzare Llama, e stiamo creando attivamente delle partnership in modo che altre aziende dell’ecosistema possano offrire funzionalità uniche ai loro clienti. Credo che il rilascio di Llama 3.1 rappresenterà un punto di inflessione nel settore, in cui la maggior parte degli sviluppatori inizierà a utilizzare principalmente l’open source, e mi aspetto che questo approccio cresca sempre di più”. Infine, lancia un messaggio “universale”: “Spero che vi unirete a noi in questo viaggio per portare i benefici dell’AI a tutti nel mondo”.
Per accedere ai modelli llama.meta.com
Meta avverte l’UE: lo sforzo normativo rischia di far perdere all’Unione i progressi dell’AI
Dopo che il garante della privacy ha chiesto al proprietario di Facebook, Mark Zuckerberg, di sospendere l’addestramento di futuri modelli di AI sui dati della regione, le reazioni di Meta non si sono fatte attendere.
Meta ha avvertito che l’approccio dell’UE alla regolamentazione dell’intelligenza artificiale sta creando il “rischio” che il continente sia tagliato fuori dall’accesso ai servizi all’avanguardia, mentre l’Unione continua il suo sforzo per contenere il potere delle Big Tech.
Rob Sherman, vice responsabile della privacy e vicepresidente delle politiche del gruppo di social media, ha confermato una notizia secondo cui il gruppo avrebbe ricevuto una richiesta dall’organo di controllo della privacy dell’UE di sospendere volontariamente l’addestramento dei suoi futuri modelli di intelligenza artificiale sui dati della regione, secondo quanto dichiarato al Financial Times. Ciò è avvenuto per dare alle autorità di regolamentazione locali il tempo di “affrontare la questione dell’AI generativa”.
Sebbene Zuckerberg stia aderendo alla richiesta, Sherman ha affermato che tali mosse stanno portando a un “divario nelle tecnologie disponibili in Europa” rispetto al resto del mondo. Ha aggiunto che Meta non spedirà i modelli multimodali nell’UE e che, con le future versioni più avanzate dell’AI, “è probabile che la disponibilità in Europa possa essere compromessa”.
Sherman ha affermato che: “Se le giurisdizioni non possono regolamentare in modo tale da permetterci di avere chiarezza su ciò che ci si aspetta, allora sarà più difficile per noi offrire le tecnologie più avanzate in quei luoghi. Un risultato realistico che ci preoccupa”.
I commenti di Meta giungono mentre i gruppi Big Tech e le start-up si affrettano a commercializzare prodotti di intelligenza artificiale, pur essendo limitati dalle ampie norme digitali dell’UE, tra cui la nuova legge sull’intelligenza artificiale (AI Act) che cerca di regolamentare lo sviluppo dei modelli e dei servizi più potenti.
Quest’ultima richiesta dell’UE, in particolare, è dovuta all’incertezza sulla possibilità di addestrare i modelli di intelligenza artificiale sui dati dei consumatori nell’ambito delle norme del Regolamento generale sulla protezione dei dati (GDPR) dell’UE. Queste norme richiedono alle aziende che raccolgono o utilizzano dati personali di ottenere il consenso dell’individuo e di rivelare le ragioni per cui lo fanno.
Sherman ha dichiarato che Meta non sarebbe “in grado di servire [i consumatori europei] in modo adeguato” senza la possibilità di addestrarsi sui dati europei, poiché l’IA sarebbe meno efficace e non potrebbe rispondere ai “concetti e contesti culturali di cui hanno bisogno”.
Meta rinvia il lancio dell’assistente Meta AI e di una nuova versione degli occhiali intelligenti Ray-Ban Meta
Meta ha già rinviato il lancio del suo assistente Meta AI e di una nuova versione dei suoi occhiali intelligenti Ray-Ban Meta con l’assistente incorporato, per timori legati alla regolamentazione e alla protezione dei dati nell’UE e nel Regno Unito. L’assistente è ora disponibile in 22 Paesi, tra cui Stati Uniti, Australia e Argentina, e in nuove lingue come francese, spagnolo e hindi.
Apple, nel frattempo, ha dichiarato che non lancerà diverse funzioni con il suo marchio Apple Intelligence, a causa delle preoccupazioni legate al Digital Markets Act dell’UE.
L’UE ha dichiarato di non commentare le decisioni individuali delle aziende, ma ha aggiunto che si tratta di “un mercato attraente di 450 milioni di potenziali utenti e che è sempre stato aperto agli affari per qualsiasi azienda che voglia fornire servizi nel mercato interno europeo”, a condizione che rispettino la legge.
Nonostante l’interruzione della formazione sui modelli futuri, Llama 3.1 sarà disponibile anche in Europa.
