Sette “dure verità” per i CIO: come passare dalla fase pilota a quella di scala

La fase di luna di miele dell’AI generativa è finita. Parola di McKinsey. Come la maggior parte delle organizzazioni sta imparando, è relativamente facile costruire progetti pilota di AI generativa, ma trasformarli in capacità su larga scala è un’altra storia. La difficoltà di fare questo salto spiega perché solo l’11% delle aziende che hanno sviluppato l’AI generativa

Sette punti che i CIO “shaper” devono sapere

In questo articolo vogliamo esplorare sette verità sulla scalabilità dell’AI gen per l’approccio “shaper”, in cui le aziende sviluppano un vantaggio competitivo collegando modelli linguistici di grandi dimensioni (LLM) ad applicazioni e fonti di dati interne. Ecco sette cose che i CIO shaper devono sapere e fare:

1. Eliminate il rumore e concentratevi sul segnale. Siate onesti sui piloti che hanno funzionato. Riducete gli esperimenti. Orientate i vostri sforzi verso la soluzione di problemi aziendali importanti.
2. Si tratta di come i pezzi si incastrano tra loro, non dei pezzi stessi. Si dedica troppo tempo alla valutazione dei singoli componenti di un motore di intelligenza artificiale. Molto più importante è capire come funzionano insieme in modo sicuro.
3. Controllare i costi prima che affondino. I modelli rappresentano solo il 15% circa del costo complessivo delle applicazioni di intelligenza artificiale. Capite dove si annidano i costi e applicate gli strumenti e le capacità giuste per ridurli.
4. Domare la proliferazione di strumenti e tecnologie. La proliferazione di infrastrutture, LLM e strumenti ha reso impraticabile il rollout su scala ridotta. Limitatevi alle funzionalità più utili per l’azienda e sfruttate i servizi cloud disponibili (mantenendo la vostra flessibilità).
5. Creare team in grado di costruire valore, non solo modelli. Per arrivare alla scala è necessario un team con un’ampia gamma di competenze, non solo per costruire i modelli, ma anche per assicurarsi che generino il valore previsto, in modo sicuro e protetto.
6. Puntate ai dati giusti, non a quelli perfetti. Individuare i dati più importanti e investire nella loro gestione nel tempo ha un grande impatto sulla velocità di scalabilità.
7. Riutilizzarlo o perderlo. Il codice riutilizzabile può aumentare la velocità di sviluppo dei casi d’uso dell’intelligenza artificiale generativa del 30-50%.

Le sette verità per i CIO in dettaglio

1. Eliminare il rumore e concentrarsi sul segnale

Sebbene molti leader aziendali riconoscano la necessità di andare oltre i progetti pilota e gli esperimenti, ciò non sempre si riflette in ciò che accade sul campo. Anche se l’adozione dell’intelligenza artificiale è in aumento, gli esempi di un reale impatto sui profitti sono pochi. Solo il 15% delle aziende che hanno partecipato al nostro ultimo sondaggio sull’AI afferma di vedere l’uso dell’AI gen avere un impatto significativo sull’EBIT delle loro aziende.³

Ad aggravare il problema c’è il fatto che i leader traggono lezioni fuorvianti dai loro esperimenti. Cercano di prendere quello che è essenzialmente un pilota di interfaccia di chat e di trasferirlo a un’applicazione: la classica trappola della “tecnologia in cerca di una soluzione”. Oppure un esperimento pilota potrebbe essere stato considerato “di successo”, ma non è stato applicato a una parte importante dell’azienda.

Le ragioni per cui non si riesce a scalare sono molteplici, ma quella principale è che le risorse e l’attenzione dei dirigenti sono distribuite in maniera troppo limitata tra decine di iniziative di intelligenza artificiale in corso. Non si tratta di uno sviluppo nuovo. Abbiamo visto uno schema simile quando sono emerse altre tecnologie, dal cloud all’analisi avanzata. Gli insegnamenti tratti da queste innovazioni, tuttavia, non sono rimasti validi.

La decisione più importante che un CIO dovrà prendere è quella di eliminare i progetti pilota che non funzionano e di aumentare quelli che sono tecnicamente fattibili e che promettono di affrontare le aree aziendali importanti, riducendo al minimo i rischi (Figura 1). Il CIO dovrà lavorare a stretto contatto con i leader delle unità aziendali per definire le priorità e gestire le implicazioni tecniche delle loro scelte.

2. Si tratta di come i pezzi si incastrano tra loro, non dei pezzi stessi.

In molti dibattiti, sentiamo i leader tecnologici che si soffermano sulle decisioni relative ai componenti necessari per fornire soluzioni di AI di tipo gen, LLM, API e così via. Ciò che stiamo imparando, tuttavia, è che la soluzione di questi singoli elementi è relativamente facile, mentre la loro integrazione è tutt’altro che semplice. Questo crea un enorme ostacolo alla scalabilità della gen AI.

La sfida sta nell’orchestrare la gamma di interazioni e integrazioni su scala. Ogni caso d’uso spesso deve accedere a più modelli, database vettoriali, librerie di prompt e applicazioni (Figura 2). Le aziende devono gestire una varietà di fonti (come applicazioni o database nel cloud, in sede, presso un fornitore o una combinazione), il grado di fedeltà (comprese latenza e resilienza) e i protocolli esistenti (ad esempio, i diritti di accesso). Quando un nuovo componente viene aggiunto per fornire una soluzione, crea un effetto a catena su tutti gli altri componenti del sistema, aggiungendo una complessità esponenziale alla soluzione complessiva.

Componenti principali per l’orchestrazione di modelli di gen AI

La chiave per un’orchestrazione efficace consiste nell’incorporare le competenze dell’organizzazione in materia di dominio e flusso di lavoro nella gestione del flusso e delle sequenze passo-passo delle interazioni tra modelli, dati e sistemi di un’applicazione in esecuzione su una base cloud. Il componente principale di un motore di orchestrazione efficace è un gateway API, che autentica gli utenti, garantisce la conformità, registra le coppie richiesta-risposta (ad esempio, per aiutare i team a fatturare il loro utilizzo) e instrada le richieste verso i modelli migliori, compresi quelli offerti da terze parti. Il gateway consente inoltre di tenere traccia dei costi e fornisce ai team che si occupano di rischio e conformità un modo per monitorare l’utilizzo in modo scalabile.

Questa funzionalità di gateway è fondamentale per la scalabilità, perché consente ai team di operare in modo indipendente, garantendo al tempo stesso il rispetto delle best practice (si veda la barra laterale “Componenti principali per l’orchestrazione dei modelli di gen AI”).

Tuttavia, l’orchestrazione delle numerose interazioni necessarie per fornire capacità di intelligenza artificiale è impossibile senza un’efficace automazione end-to-end. “End-to-end” è la frase chiave. Le aziende spesso automatizzano elementi del flusso di lavoro, ma il valore si ottiene solo automatizzando l’intera soluzione, dalla gestione dei dati (pulizia e integrazione) e dalla costruzione della pipeline di dati al monitoraggio dei modelli e alla revisione dei rischi attraverso la “policy as code”.

L’ultima ricerca di McKinsey ha dimostrato che gli high performer della Gen AI hanno una probabilità più che tripla rispetto ai loro colleghi di avere test e convalida incorporati nel processo di rilascio di ciascun modello.⁴ Una moderna piattaforma MLOps è fondamentale per gestire questo flusso automatizzato e, secondo l’analisi di McKinsey, può accelerare la produzione di dieci volte e consentire un uso più efficiente delle risorse cloud.

I modelli di intelligenza artificiale possono produrre risultati incoerenti, a causa della loro natura probabilistica o delle frequenti modifiche ai modelli sottostanti. Le versioni dei modelli possono essere aggiornate anche ogni settimana, il che significa che le aziende non possono permettersi di impostare la loro capacità di orchestrazione e lasciarla funzionare in background. Devono sviluppare capacità di osservazione e triaging iperattente per implementare la gen AI con velocità e sicurezza. Gli strumenti di osservabilità monitorano le interazioni dell’applicazione gen AI con gli utenti in tempo reale, tenendo traccia di metriche quali i tempi di risposta, l’accuratezza e i punteggi di soddisfazione degli utenti.

Se un’applicazione inizia a generare risposte imprecise o inappropriate, lo strumento avvisa il team di sviluppo per indagare e apportare le modifiche necessarie ai parametri del modello, ai modelli di prompt o al flusso di orchestrazione.

3. Controllare i costi prima che vi affondino

L’entità dell’utilizzo dei dati di gen AI e delle interazioni con i modelli fa sì che i costi vadano rapidamente fuori controllo. La gestione di questi costi avrà un impatto enorme sulla capacità dei CIO di gestire i programmi di gen AI su scala. Ma capire cosa determina i costi è fondamentale per i programmi di gen AI. I modelli stessi, ad esempio, rappresentano solo il 15% circa dell’impegno tipico di un progetto.⁵ I costi dei LLM sono diminuiti significativamente nel tempo e continuano a diminuire.

I CIO dovrebbero concentrare le loro energie su quattro realtà:

• La gestione del cambiamento è il costo maggiore. La nostra esperienza ha dimostrato che una buona regola empirica per la gestione dei costi dell’AI è che per ogni dollaro speso per lo sviluppo di un modello, è necessario spendere circa 3 dollari per la gestione del cambiamento. (A titolo di confronto, per le soluzioni digitali, il rapporto tende a essere più vicino a 1 dollaro per lo sviluppo e 1 dollaro per la gestione del cambiamento).⁶) La disciplina nel gestire la gamma di azioni di cambiamento, dalla formazione del personale alla modellazione dei ruoli fino al monitoraggio attivo delle prestazioni, è fondamentale per la gen AI. La nostra analisi ha dimostrato che le aziende più performanti hanno una probabilità quasi tripla rispetto alle altre di disporre di una solida infrastruttura di gestione delle prestazioni, come gli indicatori chiave di prestazione (KPI), per misurare e monitorare il valore della gen AI. Inoltre, hanno il doppio delle probabilità di aver formato personale non tecnico in grado di comprendere il valore potenziale e i rischi associati all’utilizzo dell’AI gen sul lavoro.⁷

Le aziende sono riuscite a gestire i costi della gestione del cambiamento concentrandosi su due aree: in primo luogo, coinvolgendo gli utenti finali nello sviluppo della soluzione fin dal primo giorno (troppo spesso le aziende si limitano a creare un’interfaccia di chat per un’applicazione di intelligenza artificiale) e, in secondo luogo, coinvolgendo i loro migliori dipendenti nell’addestramento dei modelli per garantire che questi ultimi apprendano correttamente e rapidamente.

• I costi di esecuzione sono superiori a quelli di costruzione per le applicazioni di AI di genere. L’analisi mostra che è molto più costoso eseguire i modelli che costruirli. L’utilizzo dei modelli di base e la manodopera sono i principali fattori di costo. La maggior parte dei costi di manodopera riguarda la manutenzione dei modelli e della pipeline di dati. In Europa, stiamo scoprendo che i costi significativi sono sostenuti anche dalla gestione del rischio e della conformità.
• La riduzione dei costi dei modelli è un processo continuo. Le decisioni relative a come progettare l’architettura per l’intelligenza artificiale, ad esempio, possono portare a variazioni di costo da 10 a 20 volte, e a volte anche di più. È disponibile una serie di strumenti e funzionalità per la riduzione dei costi, come il precaricamento degli embeddings. Non si tratta di un esercizio una tantum. Il processo di ottimizzazione dei costi richiede tempo e più strumenti, ma se ben eseguito può ridurre i costi da un dollaro a query a meno di un centesimo (Figura 3).

Mostra 3

• Gli investimenti devono essere legati al ROI. Non tutte le interazioni di intelligenza artificiale devono essere trattate allo stesso modo e quindi non dovrebbero costare tutte allo stesso modo. Uno strumento di intelligenza artificiale che risponde alle domande in diretta dei clienti, ad esempio, è fondamentale per l’esperienza del cliente e richiede tassi di latenza bassi, che sono più costosi. Ma gli strumenti di documentazione del codice non devono essere così reattivi, quindi possono essere gestiti in modo più economico. Il cloud svolge un ruolo cruciale nel guidare il ROI perché la sua principale fonte di valore è il supporto alla crescita del business, in particolare per le soluzioni analitiche scalabili. L’obiettivo è quello di sviluppare una disciplina di modellazione che instilli un focus sul ROI in ogni caso d’uso dell’intelligenza artificiale, senza perdersi in interminabili cicli di analisi.

4. Domare la proliferazione degli strumenti e delle tecnologie

Molti team stanno ancora spingendo i propri casi d’uso e spesso hanno creato i propri ambienti, con il risultato che le aziende devono supportare più infrastrutture, LLM, strumenti e approcci alla scalabilità. In un recente sondaggio McKinsey, infatti, gli intervistati hanno indicato “troppe piattaforme” come il principale ostacolo tecnologico all’implementazione dell’intelligenza artificiale su scala.⁸ Più infrastrutture e strumenti ci sono, maggiore è la complessità e il costo delle operazioni, che a sua volta rende impraticabile l’implementazione su scala. Questo stato di cose è simile ai primi tempi del cloud e del software come servizio (SaaS), quando l’accesso alla tecnologia era così facile – spesso non richiedeva altro che una carta di credito – che un “selvaggio west” di strumenti proliferanti creava confusione e rischi.

Per arrivare alla scala, le aziende hanno bisogno di un insieme gestibile di strumenti e infrastrutture. È giusto, ma come si fa a sapere quali fornitori, host, strumenti e modelli scegliere? Il segreto è non sprecare tempo in interminabili cicli di analisi su decisioni che non hanno molta importanza (per esempio, la scelta degli LLM è meno critica, dato che diventano sempre più una commodity) o per le quali non c’è molta scelta in primo luogo: per esempio, se avete un provider di servizi cloud (CSP) primario che ha la maggior parte dei vostri dati e i vostri talenti sanno come lavorare con il CSP, probabilmente dovreste scegliere l’offerta gen AI di quel CSP. I principali CSP, infatti, stanno lanciando nuovi servizi di gen AI che possono aiutare le aziende a migliorare l’economia di alcuni casi d’uso e ad aprire l’accesso a nuovi casi. La capacità delle aziende di sfruttare questi servizi dipende da molte variabili, tra cui la maturità del proprio cloud e la forza delle proprie fondamenta cloud.

Ciò che richiede una riflessione approfondita è come costruire l’infrastruttura e le applicazioni in modo da avere la flessibilità di cambiare fornitore o modello con relativa facilità. Considerate l’adozione di standard ampiamente utilizzati dai provider (come KFServing, una soluzione serverless per la distribuzione di modelli di gen AI), Terraform per l’infrastruttura come codice e gli LLM open-source.

Vale la pena di sottolineare che l’eccesso di flessibilità alla fine porta a rendimenti decrescenti. Una pletora di soluzioni diventa costosa da mantenere, rendendo difficile sfruttare appieno i servizi offerti dai fornitori.

5. Creare team in grado di costruire valore, non solo modelli.

Uno dei maggiori problemi che le aziende si trovano ad affrontare è che continuano a trattare l’intelligenza artificiale come un programma tecnologico piuttosto che come una priorità aziendale di ampio respiro. Gli sforzi tecnologici del passato dimostrano, tuttavia, che la creazione di valore non è mai una questione di “sola tecnologia”. Affinché l’intelligenza artificiale abbia un impatto reale, le aziende devono creare team in grado di andare oltre la funzione IT e di integrarla nell’azienda. Le lezioni del passato sono applicabili anche in questo caso. Le pratiche agili hanno accelerato lo sviluppo tecnico, ad esempio. Ma un impatto maggiore si è avuto solo quando altre parti dell’organizzazione, come gli esperti di rischio e di business, sono state integrate nei team insieme alla gestione del prodotto e alla leadership.

Esistono diversi archetipi per garantire questa più ampia integrazione organizzativa. Alcune aziende hanno creato un centro di eccellenza che funge da centro di smistamento per dare priorità ai casi d’uso, allocare le risorse e monitorare le prestazioni. Altre aziende dividono i compiti strategici e tattici tra i vari team. Quale sia l’archetipo più adatto a una determinata azienda dipenderà dai talenti disponibili e dalle realtà locali. Ma è fondamentale che questa funzione centralizzata consenta una stretta collaborazione tra i responsabili della tecnologia, del business e del rischio e che segua con disciplina i protocolli collaudati per la realizzazione di programmi di successo. Questi potrebbero includere, ad esempio, revisioni aziendali trimestrali per monitorare le iniziative rispetto a obiettivi specifici e risultati chiave (OKR), e interventi per risolvere i problemi, riallocare le risorse o chiudere le iniziative con scarse prestazioni.

Un ruolo fondamentale per questa struttura di governo è quello di garantire l’implementazione e il rispetto di protocolli di rischio efficaci. I team di costruzione, ad esempio, devono mappare i rischi potenziali associati a ciascun caso d’uso; i protocolli tecnici e “umani” devono essere implementati durante l’intero ciclo di vita del caso d’uso. Questo organo di supervisione deve anche avere il mandato di gestire il rischio di gen AI valutando le esposizioni e implementando strategie di mitigazione.

Un problema da cui guardarsi è la semplice gestione del flusso di casi d’uso tattici, soprattutto quando il volume è elevato. L’organizzazione centrale deve avere il mandato di raggruppare i casi d’uso correlati per garantire un impatto su larga scala e guidare le grandi idee. Questo team deve agire come guardiano del valore, non solo come gestore del lavoro.

Una società di servizi finanziari ha messo in atto protocolli di governance chiaramente definiti per il senior management. Un gruppo direttivo, sponsorizzato dal CIO e dal Chief Strategy Officer, si è concentrato sulla governance aziendale, sulla strategia e sulla comunicazione, guidando l’identificazione dei casi d’uso e le approvazioni. Un gruppo di abilitazione, sponsorizzato dal CTO, si è concentrato sulle decisioni relative all’architettura dei dati, alla scienza dei dati, all’ingegneria dei dati e alla creazione di capacità abilitanti fondamentali. Il CTO ha anche imposto che almeno un architetto esperto si unisse a un team di casi d’uso nelle prime fasi del processo, per garantire che il team utilizzasse gli standard e i set di strumenti stabiliti. Questa supervisione e la chiarezza della governance sono state fondamentali per aiutare l’azienda a passare dalla gestione di soli cinque a più di 50 casi d’uso nella sua pipeline.

6. Cercare i dati giusti, non quelli perfetti

Informazioni su QuantumBlack, AI di McKinsey

È ancora diffusa l’idea che l’intelligenza artificiale possa semplicemente raccogliere i dati necessari e dar loro un senso. Ma le soluzioni di gen AI ad alte prestazioni non sono possibili senza dati puliti e accurati, il che richiede un lavoro e una concentrazione reali. Le aziende che investono nelle fondamenta dei dati per generarne di buoni mirano ai loro sforzi con attenzione.

Prendiamo ad esempio il processo di etichettatura, che spesso oscilla tra la ricerca della perfezione per tutti i dati e il completo abbandono. Abbiamo scoperto che investire in un’etichettatura mirata, soprattutto per i dati utilizzati per la retrieval-augmented generation (RAG), può avere un impatto significativo sulla qualità delle risposte alle query di gen AI. Allo stesso modo, è fondamentale investire il tempo necessario per classificare l’importanza delle fonti di contenuto (“authority weighting”), che aiuta il modello a comprendere il valore relativo delle diverse fonti. Per ottenere questo risultato è necessaria una significativa supervisione umana da parte di persone con competenze specifiche.

Poiché i modelli di intelligenza artificiale sono così instabili, le aziende devono mantenere le loro piattaforme man mano che vengono aggiunti nuovi dati, cosa che accade spesso e che può influenzare le prestazioni dei modelli. Per la maggior parte delle aziende, questo è molto più difficile perché i dati relativi risiedono in molti luoghi diversi. Le aziende che hanno investito nella creazione di prodotti di dati sono in vantaggio perché dispongono di una fonte di dati ben organizzata da utilizzare per l’addestramento dei modelli nel tempo.

In un’azienda di prodotti per la scienza dei materiali, ad esempio, diversi team accedevano alle informazioni sui prodotti, ma ognuno aveva una versione diversa. La R&S aveva le schede di sicurezza dei materiali, i team di ingegneria applicativa (team di vendita/assistenza tecnica) sviluppavano la propria versione per trovare soluzioni alle richieste dei clienti, i team di commercializzazione avevano le descrizioni dei prodotti e i team di assistenza clienti avevano una serie di dettagli specifici sui prodotti per rispondere alle domande. Man mano che ogni team aggiornava la propria versione delle informazioni sui prodotti, emergevano conflitti che rendevano difficile l’utilizzo dei dati da parte dei modelli di intelligenza artificiale. Per risolvere questo problema, l’azienda sta mettendo tutte le informazioni rilevanti sui prodotti in un unico posto.

7. Riutilizzarlo o perderlo

Il codice riutilizzabile può aumentare la velocità di sviluppo dei casi d’uso dell’intelligenza artificiale generativa del 30-50%.⁹ Ma nella fretta di fare progressi significativi, i team si concentrano spesso su singoli casi d’uso, affossando ogni speranza di scala. I CIO devono spostare le energie dell’azienda verso la costruzione di soluzioni trasversali che possano servire molti casi d’uso. Infatti, abbiamo riscontrato che le aziende che ottengono risultati elevati in termini di gen AI hanno una probabilità quasi tripla rispetto ai loro colleghi di avere basi di gen AI costruite strategicamente per consentire il riutilizzo tra le varie soluzioni.¹⁰

Nell’impegnarsi per la riusabilità, tuttavia, è facile rimanere intrappolati nella costruzione di capacità astratte di intelligenza artificiale che non vengono utilizzate, anche se, tecnicamente, sarebbe facile farlo. Un modo più efficace per creare risorse riutilizzabili consiste nell’effettuare una revisione disciplinata di una serie di casi d’uso, in genere da tre a cinque, per accertarne le esigenze o le funzioni comuni. I team possono quindi costruire questi elementi comuni come risorse o moduli che possono essere facilmente riutilizzati o uniti per creare una nuova funzionalità. La preelaborazione e l’ingestione dei dati, ad esempio, potrebbero includere un meccanismo di scomposizione dei dati, un caricatore di dati e metadati strutturati e un trasformatore di dati come moduli distinti. Una banca europea ha esaminato quali delle sue capacità potevano essere utilizzate in un’ampia gamma di casi e ha investito nello sviluppo di un modulo di sintesi, un modulo di traduzione e un modulo di analisi del sentiment.

I CIO non possono aspettarsi che ciò avvenga in modo organico. Devono assegnare un ruolo, come il proprietario della piattaforma, e un team interfunzionale con il mandato di sviluppare risorse riutilizzabili per i team di prodotto (Allegato 4), che possono includere strumenti, codice e framework approvati.

Mostra 4

Il valore che la gen AI potrebbe generare è trasformativo. Ma il valore potrà essere colto appieno solo quando le aziende sfrutteranno l’intelligenza artificiale su scala. Ciò richiede che i CIO non si limitino a riconoscere le dure verità, ma siano pronti ad agire di conseguenza per guidare la loro azienda verso il futuro.