Google Cloud Next ’24: tutte le novità annunciate

Next ’24: Google annuncia importanti novità. Tra queste:

• avanzamenti nel campo dei silici personalizzati, come la disponibilità generale di TPU v5p e Google Axion, la prima CPU personalizzata basata su Arm progettata per i datacenter;
• Gemini 1.5 Pro, che include un’innovazione nella comprensione del contesto a lungo termine, ora in anteprima pubblica; nuove capacità di grounding in Vertex AI;
• Gemini Code Assist per gli sviluppatori;
• potenziamento delle capacità di cybersecurity con Gemini in Threat Intelligence;
• nuovi miglioramenti per Gemini in Google Workspace e molto altro.

Queste innovazioni permeano ogni aspetto di Google Cloud, tra cui:

• AI Hypercomputer, un’architettura supercalcolante che impiega un sistema integrato di hardware ottimizzato per le prestazioni, software aperto, principali framework ML e modelli di consumo flessibili; i modelli fondamentali, tra cui i modelli Gemini, che elaborano informazioni multimodali e possiedono avanzate capacità di ragionamento;

• la piattaforma Vertex AI, che aiuta organizzazioni e partner ad accedere a modelli personalizzati, a sintonizzarli, ad aumentarli e a distribuirli collegandoli con dati aziendali, sistemi e processi per implementare agenti AI generativi;
• Gemini for Google Cloud offre assistenza AI per aiutare gli utenti a lavorare e codificare più efficientemente gestendo le loro applicazioni ottenendo approfondimenti sui dati, identificando e risolvendo minacce alla sicurezza e molto altro;

• Gemini for Workspace, l’agente integrato direttamente in Gmail, Docs, Sheets e altro ancora, con sicurezza e privacy di livello aziendale;
• numerosi annunci riguardanti analisi, database, cybersecurity, calcolo, networking, il crescente ecosistema AI e molto altro.

Google Cloud Next ’24: scala con infrastruttura ottimizzata per l’AI

Google Cloud offre AI Hypercomputer, un’architettura che combina potenti TPU, GPU, software AI e altro ancora per fornire un modo efficiente ed economico per addestrare e servire i modelli. Google sta rafforzando la sua leadership con importanti progressi per supportare i clienti su ogni strato dello stack:

• A3 Mega: sviluppato con NVIDIA utilizzando le GPU H100 Tensor Core, questa nuova istanza basata su GPU sarà generalmente disponibile a maggio 2024 e offre il doppio della larghezza di banda per GPU rispetto alle istanze A3 per supportare i carichi di lavoro più esigenti.
• Confidential A3: permette ai clienti di proteggere meglio la riservatezza e l’integrità dei dati sensibili durante l’addestramento e l’inferenza.
• NVIDIA HGX B200 e NVIDIA GB200 NVL72: l’ultima piattaforma NVIDIA Blackwell arriverà su Google Cloud all’inizio del 2025 in due varianti, l’HGX B200 e il GB200 NVL72. L’HGX B200 è progettato per i carichi di lavoro AI, analisi dei dati e HPC più esigenti, mentre il GB200 NVL72 alimenta l’inferenza del modello di linguaggio di grandi dimensioni in tempo reale e le prestazioni di addestramento su larga scala per modelli con parametri di scala trilione.
• TPU v5p: Google annuncia la disponibilità generale di TPU v5p, acceleratore AI più potente, scalabile e flessibile per l’addestramento e l’inferenza, con 4 volte la potenza di calcolo per pod rispetto alla generazione precedente. Annunciata anche la disponibilità del supporto Google Kubernetes Engine (GKE) per TPU v5p. Negli ultimi anni, l’uso delle GPU e delle TPU su GKE è cresciuto di oltre il 900%.
• Opzioni di storage ottimizzate per l’AI: Google sta accelerando la velocità di addestramento con nuove funzionalità di caching in Cloud Storage FUSE e Parallelstore che mantengono i dati più vicini al TPU o alla GPU del cliente. Sta anche introducendo Hyperdisk ML (in anteprima), servizio di storage a blocchi della prossima generazione che accelera i tempi di caricamento dei modelli fino a 3,7 volte rispetto alle alternative comuni.
• Nuove opzioni per Dynamic Workload Scheduler: la modalità Calendario per l’assicurazione dell’orario di inizio e l’avvio flessibile per un’economia ottimizzata aiuteranno i clienti a garantire una gestione efficiente delle risorse per la distribuzione di lavori di addestramento e inferenza complessi. Google sta anche avvicinando l’AI al punto in cui i dati vengono generati e consumati – at the edge, negli ambienti air-gapped, nei Google Sovereign Clouds e cross-cloud. Sta abilitando l’AI ovunque attraverso Google Distributed Cloud (GDC), permettendo di scegliere l’ambiente, la configurazione e i controlli che meglio si adattano alle specifiche esigenze dell’organizzazione.

Google Cloud Next ’24: le nuove capacità Google Distributed Cloud

Google ha annunciato una serie di nuove capacità in GDC, tra cui:

• GPU NVIDIA su GDC: sia per configurazioni connesse che air-gapped. Ognuna di queste supporterà nuove istanze basate su GPU per eseguire modelli AI in modo efficiente.

• GKE su GDC: la stessa tecnologia GKE che le principali aziende AI stanno utilizzando su Google Cloud sarà disponibile su GDC.

• Supporto ai modelli AI: sta validando una varietà di modelli AI aperti, tra cui Gemma, Llama 2 e altri su GDC per funzionare in ambienti edge air-gapped e connessi.

• AlloyDB Omni per Vector Search: sta anche portando la potenza di AlloyDB Omni per Vector Search per consentire la ricerca e il recupero di informazioni su GDC per i dati privati e sensibili con latenza estremamente bassa.

• Sovereign Cloud: per i requisiti normativi più rigorosi, fornisce GDC in una configurazione completamente air-gapped con operazioni locali, piena sopravvivenza, gestita da Google o attraverso un partner a scelta.

Google Axion, prima CPU personalizzata basata su Arm

Non tutti i carichi di lavoro sono carichi di lavoro AI, ma ogni carico di lavoro eseguito nel cloud ha bisogno di ottimizzazione – dai server web ai microservizi containerizzati. Ogni applicazione ha esigenze tecniche uniche ed è per questo che Google ha presentato nuove opzioni di calcolo general purpose che aiutano i clienti a massimizzare le prestazioni, abilitare l’interoperabilità tra le applicazioni e raggiungere gli obiettivi di sostenibilità, riducendo al contempo i costi:

• Google Axion: prima CPU personalizzata basata su Arm progettata per il datacenter offre prestazioni fino al 50% migliori e un’efficienza energetica fino al 60% migliore rispetto alle istanze basate su x86 della generazione attuale. Annunciati anche N4 e C4, due nuove serie di macchine nel portafoglio VM general purpose;
• forme di macchine bare-metal native nella famiglia di macchine C3;
• la disponibilità generale di Hyperdisk Advanced Storage Pools e molto altro.

Google Cloud Next ’24: creare agenti con Vertex AI

Vertex AI, la piattaforma AI aziendale, si basa sull’infrastruttura di classe mondiale. È l’unica piattaforma unificata che permette ai clienti di scoprire, personalizzare, aumentare, distribuire e gestire modelli gen AI. Oltre 130 modelli, tra cui le ultime versioni di Gemini, modelli partner come Claude 3 e popolari modelli aperti tra cui Gemma, Llama 2 e Mistral.

• Gemini 1.5 Pro: offre due dimensioni delle finestre contestuali: 128K token e 1 milione di token ed è ora disponibile in anteprima pubblica. Annunciata anche la capacità di elaborare file audio compresi i video con audio. I clienti possono elaborare enormi quantità di informazioni in un unico flusso tra cui 1 ora di video, 11 ore di audio, codebase con oltre 30mila righe di codice o oltre 700mila parole.
• Claude 3: Claude 3 Sonnet e Claude 3 Haiku, i modelli all’avanguardia di Anthropic sono generalmente disponibili su Vertex AI grazie alla stretta partnership con Claude 3 Opus che sarà disponibile nelle prossime settimane.
• CodeGemma: Gemma è una famiglia di modelli aperti leggeri e all’avanguardia costruiti con la stessa ricerca e tecnologia utilizzate per creare i modelli Gemini. Una nuova versione fine-tuned di Gemma progettata per la generazione del codice e l’assistenza al codice, CodeGemma, è ora disponibile su Vertex AI.
• Imagen 2.0: la tecnologia più avanzata di testo in immagine vanta una varietà di funzionalità di generazione di immagini per aiutare le aziende a creare immagini che corrispondono ai loro specifici requisiti di marca. Una nuova capacità di testo in immagine dal vivo permette ai team di marketing e creativi di generare immagini animate come gif dotate di filtri di sicurezza e watermark digitali.

Fotoritocco e Digital watermarking

Google ha inoltre annunciato la disponibilità generale delle funzionalità avanzate di fotoritocco tra cui inpainting e outpainting e molto altro.

• Digital Watermarking: alimentato da SynthID di Google DeepMind, generalmente disponibile per le immagini generate da AI prodotte da Imagen 2.0.
• Vertex AI permette di sintonizzare il modello fondamentale scelto con i dati. Fornite una varietà di tecniche diverse tra cui il fine tuning, Reinforcement Learning with Human Feedback (RLHF), distillazione, supervisionato, tecniche basate su adattatori come Low Rank Adaption (LORA) e altro ancora.
• Annunciato il supporto supervisionato, l’adattamento basato su adattatori per personalizzare i modelli Gemini in modo efficiente e a costi inferiori. I clienti ottengono molto di più dai loro modelli quando li aumentano e li radicano con i dati aziendali. Vertex AI aiuta a fare questo con strumenti gestiti per estensioni, chiamate di funzione e grounding. Inoltre Retrieval Augmented Generation (RAG) collega il modello ai sistemi aziendali per recuperare informazioni e agire permettendo di ottenere dati di fatturazione e prodotto aggiornati al secondo, aggiornare le informazioni di contatto dei clienti o le sottoscrizioni o addirittura completare le transazioni.

Le capacità di grounding

Google sta espandendo le capacità di grounding di Vertex AI in due nuovi modi:

• Google Search: i modelli radicati in Google Search combinano la potenza dei più recenti modelli fondamentali di Google con l’accesso a informazioni fresche e di alta qualità per migliorare significativamente la completezza e l’accuratezza delle risposte.
• I tuoi dati: dare agli agenti Enterprise Truth radicando i modelli con i dati provenienti da applicazioni aziendali come Workday o Salesforce o informazioni memorizzate nelle offerte database Google Cloud come AlloyDB e BigQuery. Una volta scelto il modello giusto, sintonizzato e radicato Vertex AI può aiutare a distribuire gestire e monitorare i modelli.

Annunciate ulteriori capacità ML Ops:

• Strumenti di gestione dei prompt: permettono di collaborare sui prompt integrati con note, tracciare i cambiamenti nel tempo e confrontare la qualità delle risposte da diversi prompt.
• Automatic side-by-side (AutoSxS): fornisce spiegazioni del perché una risposta supera un’altra e punteggi di certezza che aiutano gli utenti a capire l’accuratezza della valutazione.
• Funzionalità di valutazione rapida: in anteprima, questa i clienti a valutare rapidamente i modelli su set di dati più piccoli quando si itera sulla progettazione del prompt.
• Infine Vertex AI Agent Builder riunisce modelli fondamentali Google Search e altri strumenti per sviluppatori per rendere facile per te costruire e distribuire agenti. Offre la comodità di una console builder agent senza codice insieme a potenti capacità.