Si chiama Andromeda, come la galassia a spirale gigante, il supercomputer da 13,5 milioni di core presentato da Cerebras Systems, la startup che sta dietro alcuni dei più grandi chip AI mai realizzati. Consentirà funzionalità di AI più veloci.
Andromeda, progettato sia per il lavoro commerciale che accademico, contiene un cluster di 16 Cerebras CS-2 – basati sui potenti chip AI WSE-2 dell’azienda – ciascuno contenente prestazioni di calcolo oltre 100 volte superiori rispetto alla maggior parte delle GPU. Il supercomputer ha sede a Colovore, un data center con sede a Santa Clara, in California, nel cuore della Silicon Valley.
Oltre 1 Exaflop di elaborazione AI
Andromeda può fornire più di 1 Exaflop di elaborazione AI o un quintilione di operazioni in virgola mobile al secondo. Per fare un confronto, un essere umano dovrebbe eseguire un calcolo ogni secondo per 31,7 miliardi di anni!
Ad alimentare il computer ci sono 18.176 processori AMD EPYC e più core di 1.953 GPU Nvidia A100 combinate. Cerebras afferma che il supercomputer ha 13,5 milioni di core, 1,6 volte il più grande supercomputer del mondo, Frontier, che ha 8,7 milioni di core.
Il supercomputer è l’unico supercomputer AI a “dimostrare una scalabilità lineare quasi perfetta su carichi di lavoro di modelli linguistici di grandi dimensioni basandosi solo sul semplice parallelismo dei dati”, secondo il chipmaker.
Andromeda è progettato per ridurre notevolmente il tempo necessario per addestrare modelli linguistici di grandi dimensioni; l’azienda afferma di ottenere “una scalabilità quasi perfetta tramite un semplice parallelismo dei dati tra modelli di linguaggio di grandi dimensioni di classe GPT, tra cui GPT-3, GPT-J e GPT-NeoX”.
Le GPU non possono elaborare modelli di linguaggio di grandi dimensioni con enormi lunghezze di sequenza. Secondo Cerebras Andromeda può.
Questo “lavoro impossibile della GPU è stato dimostrato da uno dei primi utenti di Andromeda, che ha raggiunto un ridimensionamento quasi perfetto su GPT-J a 2,5 miliardi e 25 miliardi di parametri con lunghe lunghezze di sequenza – MSL di 10.240”, secondo Cerebras. “Gli utenti hanno tentato di fare lo stesso lavoro su Polaris, un cluster Nvidia A100 da 2.000, e le GPU non sono state in grado di fare il lavoro a causa della memoria GPU e delle limitazioni della larghezza di banda della memoria”.
L’accesso ad Andromeda è ora disponibile, con diversi clienti e ricercatori accademici che già eseguono carichi di lavoro. La società ha fornito agli studenti laureati dell’Università di Cambridge l’accesso gratuito.
La piattaforma di supercalcolo può essere utilizzata simultaneamente da più utenti, che possono specificare quanti CS-2 di Andromeda vogliono utilizzare, il che significa che Andromeda può essere utilizzato come cluster di supercomputer CS-2 16 per un singolo utente che lavora su un singolo lavoro o 16 singoli sistemi CS-2 per sedici utenti distinti.
