Nvidia e Microsoft hanno annunciato che stanno costruendo un “enorme computer AI cloud”. Il supercomputer in questione, tuttavia, non è un sistema con nome individuale, come il sistema Frontier presso l’Oak Ridge National Laboratory o il sistema Perlmutter, che è il supercomputer di intelligenza artificiale (AI) più veloce al mondo. Il nuovo supercomputer di intelligenza artificiale è un set di funzionalità e servizi all’interno di Azure, basati su tecnologie Nvidia, per usi HPC (High Performance Computing).
Un supercomputer, che fornisce enormi quantità di potenza di calcolo per affrontare sfide complesse, è in genere fuori dalla portata del data scientist aziendale medio. E se fosse possibile utilizzare le risorse cloud? Questa è la logica che Microsoft Azure e Nvidia hanno esposto con l’annuncio che coincide con la Conferenza sul supercomputing SC22 (svoltasi dal 14 al 19 novembre a Dallas).
“C’è un’adozione diffusa dell’intelligenza artificiale nelle aziende in una gamma completa di casi d’uso, e quindi affrontare questa domanda richiede istanze di cloud computing AI davvero potenti”, dichiara Paresh Kharya, senior director for accelerated computing di Nvidia. “La nostra collaborazione con Microsoft ci consente di fornire una soluzione molto interessante per le aziende che stanno cercando di creare e implementare l’intelligenza artificiale su larga scala per trasformare le loro attività”.
L’hardware entra nel supercomputer di intelligenza artificiale di Microsoft Azure
Microsoft non è estranea alla tecnologia di accelerazione AI di Nvidia, che è già in uso dalle grandi organizzazioni. Bing di Microsoft utilizza istanze basate su Nvidia per accelerare la ricerca, mentre Microsoft Teams utilizza GPU Nvidia per aiutare a convertire la sintesi vocale.
Nidhi Chappell, partner/GM of specialized compute di Microsoft, spiega che le offerte di macchine virtuali (VM) ottimizzate per l’intelligenza artificiale di Azure, come l’attuale generazione della serie di VM NDm A100 v4 , iniziano con una singola macchina virtuale (VM) e otto GPU Tensor Core Nvidia Ampere A100.
“Ma proprio come il cervello umano è composto da neuroni interconnessi, i nostri cluster basati su NDm A100 v4 possono scalare fino a migliaia di GPU con una larghezza di banda di interconnessione senza precedenti di 1,6 Tb/s per VM”, afferma Chappell. “Decine, centinaia o migliaia di GPU possono quindi lavorare insieme come parte di un cluster InfiniBand per raggiungere qualsiasi livello di ambizione AI”.
La novità è che Nvidia e Microsoft stanno raddoppiando la loro partnership, con funzionalità di intelligenza artificiale ancora più potenti.
Kharya dichiara che, come parte della rinnovata collaborazione, Microsoft aggiungerà la nuova GPU Nvidia H100 ad Azure. Inoltre, Azure eseguirà l’aggiornamento a Quantum 2 InfiniBand di nuova generazione di Nvidia, che raddoppia la larghezza di banda disponibile a 400 Gigabit al secondo (Gb/s). La generazione corrente di istanze di Azure si basa sulla tecnologia Quantum InfiniBand da 200 Gb/s.
Un booster per Microsoft DeepSpeed
La partnership Microsoft-Nvidia non riguarda solo l’hardware. Ha anche una componente software molto forte.
I due fornitori hanno già lavorato insieme utilizzando il software di ottimizzazione del deep learning DeepSpeed di Microsoft per aiutare ad addestrare il modello di linguaggio grande Nvidia Megatron-Turing Natural Language Generation (MT-NLG).
Chappell ha affermato che, come parte della rinnovata collaborazione, le aziende ottimizzeranno DeepSpeed di Microsoft con Nvidia H100 per accelerare i modelli basati su trasformatori che vengono utilizzati per modelli di linguaggio di grandi dimensioni, intelligenza artificiale generativa e scrittura di codice informatico, tra le altre applicazioni.
“Questa tecnologia applica funzionalità di precisione in virgola mobile a 8 bit a DeepSpeed per accelerare drasticamente i calcoli AI per i trasformatori, al doppio del throughput delle operazioni a 16 bit”, afferma Chappell.
Supercomputer cloud per la ricerca sull’AI generativa
Nvidia ora userà anche Azure per aiutare con la propria ricerca sulle funzionalità di intelligenza artificiale generativa.
Recentemente sono emersi numerosi modelli di intelligenza artificiale generativa per la creazione di contenuti interessanti, come Stable Diffusion. Nvidia sta lavorando al proprio approccio, chiamato eDiff-I, per generare immagini da prompt di testo.
“La ricerca sull’intelligenza artificiale richiede un’elaborazione su larga scala: è necessario essere in grado di utilizzare migliaia di GPU collegate dalla massima larghezza di banda, reti a bassa latenza e avere uno stack software ad alte prestazioni che sta facendo funzionare tutta questa infrastruttura”, afferma Kharya. “Quindi questa partnership espande la nostra capacità di formare e fornire risorse di calcolo ai nostri team di ricerca [e] sviluppo software per creare modelli di intelligenza artificiale generativa, oltre a offrire servizi ai nostri clienti”.
