La pandemia e il lockdown hanno messo in evidenza i limiti dell’intelligenza artificiale (AI). È accaduto che gli algoritmi sono stati mandati in tilt dai nostri comportamenti. Solitamente ci focalizziamo sulle conseguenze della tecnologia sulla nostra vita, in termini di modus vivendi, modalità di lavoro e di come ci relazioniamo con essa; tuttavia, non dobbiamo dimenticare che, oramai, la tecnologia fa parte di un sistema che “interagisce” ed è in simbiosi con il mondo in cui viviamo. È sempre più necessario capire come le tecnologie agiscono e, al contempo, come correggerne gli errori: gli algoritmi di machine learning e software di AI, anche se performanti, possono essere messi in “crisi” da eventi imprevisti e inediti – come la pandemia contingente – e dimostrano, in toto, la loro “fragilità”.
Come la pandemia ha influenzato l’AI
Abbiamo preso consapevolezza che il Covid-19 ha avuto un impatto considerevole sulle attività online delle persone, dando luogo a comportamenti “insoliti”. Ovvero, si sono verificati nuovi trend negli acquisti, in termini di tipologia e di quantità di prodotti selezionati. Il cambiamento è stato improvviso e, i primi 10 articoli best seller della classifica di Amazon – tra cui cellulari, carica batterie del cellulare, confezioni Lego – nel giro di pochi giorni, sono stati letteralmente sorpassati dai nuovi articoli legati all’emergenza pandemica, i.e. mascherine, disinfettanti, carta igienica, asciugamani di carta, ecc.
Gli effetti di questi trend, non solo hanno avuto un impatto nelle catene di approvvigionamento al dettaglio, ma hanno influenzato l’AI. Di fatto, gli algoritmi sottesi alle compravendite online, sono stati mandati in crisi dalle fluttuazioni delle vendite, in quanto i modelli di apprendimento automatico, pur essendo stati progettati per rispondere a eventuali modifiche, si possono rivelare particolarmente “fragili” e, non funzionare come dovrebbero, quando i dati di input differiscono troppo dai dati secondo cui sono stati “addestrati”.
Numerosi sono gli esempi di algoritmi mandati in tilt in questo periodo, quali: software antifrode che hanno segnalato come insolito e sospetto l’acquisto da parte di utenti di centinaia di mascherine; algoritmi per gestire magazzini che hanno inviato ordini enormi di dispositivi di protezione individuale, quando l’interesse si era ormai spostato su altri articoli, quali ad esempio prodotti per fare dolci e giardinaggio; algoritmi di trading o di consulenza finanziaria, che sono andati in “crisi” a causa delle notizie apocalittiche riportate sui social. Senza dimenticare che molti problemi sono causati anche dal fatto che molte aziende acquistano sistemi di apprendimento automatico, ma non hanno personale interno esperto necessario per mantenerli.
La fragilità dell’AI è determinata dal fatto che i sistemi sono “addestrati” solo sulle fluttuazioni degli ultimi anni e non prendono in considerazione eventi come la Grande Depressione degli anni ’30, il crollo del mercato azionario del Black Monday nel 1987 e la crisi finanziaria 2007-2008. La pandemia contingente potrebbe essere, quindi, la “tempesta perfetta” per costruire migliori modelli di apprendimento automatico, dimostrando che non è possibile prepararsi ad affrontare l’imprevedibile, ma è necessaria una maggiore supervisione, dal momento che il mondo è cambiato e, di conseguenza, anche i dati sono cambiati.
Il “problema del frame”
I sistemi automatizzati non possono funzionare da soli, come ipotizzato, bensì, necessitano di un team di data science, in grado di collegare quello che sta succedendo nel mondo a quello che sta succedendo agli algoritmi. Molte società sono state costrette a intervenire e correggere manualmente gli algoritmi e i processi.
La mole di dati storici si è rivelata insufficiente a prevedere tutte le eventualità e gli algoritmi e i processi non sono stati in grado di prevedere una situazione come quella contingente e, prontamente, adattarsi a cambiamenti così repentini e inediti: essi hanno “agito” in modo incoerente non riuscendo a interpretare il “nuovo” contesto.
Ci troviamo di fronte al cosiddetto “problema del frame”, ossia, un software non è in grado di selezionare in autonomia le informazioni riferite a una certa situazione e capire, per esempio, che gli acquisti anomali di disinfettante siano collegati a una situazione particolare. Pertanto, si può giungere ad affermare che gli algoritmi di machine learning non siano in grado di interpretare cambiamenti di stile di vita e, pur essendo autonomi nel loro ambito di competenza – fin tanto che le circostanze in cui sono stati implementati non subiscono variazioni sostanziali – si rivelano molto fragili in situazioni impreviste o drammatiche. Risultato: l’essere umano deve affiancare l’AI, garantendo un controllo responsabile su quello che non dev’essere (e non può essere) automatizzato.
AI e risk management
Il corretto utilizzo dell’AI presuppone l’implementazione dei principi di business continuity e risk management in termini di: correttezza di dati/modelli; gestione resiliente delle tecnologie in modo da contribuire correttamente alla loro progettazione; la gestione degli effetti che ne conseguono, senza dimenticare la cybersecurity necessaria per salvaguardare le tecnologie utilizzate dai cyber attack.
Sarebbe auspicabile attuare – soprattutto ora che la pandemia ha indotto un’accelerazione del processo di digitalizzazione – una profonda diffusione della cultura digitale nelle organizzazioni, in grado di insegnare sia le competenze informatiche di base sia quelle di ingegneria dei sistemi più complessi, concentrandosi altresì sull’etica e sulle conseguenze di queste discipline. Ovvero, bisogna garantire che gli utenti siano in grado di comprendere meglio i sistemi di AI che influenzano ogni aspetto della nostra vita, riconoscendo ed evidenziando i loro problemi profondi ed essere pronti a gestirli e prevenirli in un’ottica di resilienza organizzativa.
Conclusioni
Viviamo in un mondo iperconnesso e l’impatto della pandemia ci ha evidenziato come i sistemi basati sull’AI necessitino di una migliore progettazione e di una maggiore resilienza. È necessario, ora più che mai, essere consapevoli del fatto che le nostre vite sono correlate all’AI e ci pongono in una condizione di co-dipendenza, ovvero: da una parte la variazione dei nostri comportamenti influiscono sul funzionamento dell’AI, dall’altra parte la modalità di funzionamento dell’AI cambia il nostro comportamento. Il coinvolgimento umano nei sistemi automatizzati è fondamentale, soprattutto in casi di circostanze particolari come quella contingente della pandemia, in modo tale da “vigilare” sulle macchine se vogliamo garantirne la loro attendibilità: dobbiamo capire perché un sistema di AI suggerisce una certa decisione rispetto ad un’altra e conoscere molto a fondo il loro funzionamento.
Indubbiamente, col tempo, saremo in grado di accumulare moltissime informazioni, e quindi di costruire macchine molto più simili agli esseri umani. Tuttavia, rimarrà insoluto il problema relativo alla conoscenza: l’AI fornisce una forma di conoscenza molto limitata e parziale in quanto i meccanismi stessi delle macchine sono limitati. Anche qualora riuscissimo a costruire un computer dotato di una super-memoria, capace di contenere anche una piccola parte dei miliardi di informazioni presenti nei nostri cervelli – risultato di sintesi di quelli scaturiti dal mondo esterno – non sarebbe sufficiente. La memoria umana è profondamente connessa a quella particolare forma di conoscenza data dall’interazione con il mondo esterno e dalle capacità di relazionarsi agli altri esseri umani, nella vita quotidiana. L’AI si svilupperà e progredirà, ma dovrà essere sempre garantita una calibrata integrazione “umana”.
