Intelligenza artificiale, la storia

L’interesse della comunità scientifica per l’intelligenza artificiale ha inizio da molto lontano: il primo vero progetto di artificial intelligence (ormai nota con l’acronimo AI) risale al 1943 quando i due ricercatori Warren McCulloch e Walter Pitt proposero al mondo scientifico il primo neurone artificiale.

Seguì poi nel 1949 il libro The Organization of Behaviour di Donald Olding Hebb, psicologo canadese, grazie al quale vennero analizzati in dettaglio i collegamenti tra i neuroni artificiali ed i modelli complessi del cervello umano.

Il termine artificial intelligence in realtà parte “ufficialmente” dal matematico statunitense John McCarthy (nel 1956) e con esso il “lancio” dei primi linguaggi di programmazione (Lisp nel 1958 e Prolog nel 1973) specifici per l’AI.

Da lì in poi la storia dell’intelligenza artificiale è stata abbastanza altalenante caratterizzata da avanzate significative dal punto di vista dei modelli matematici (sempre più sofisticati modellati per “imitare” alcune funzionalità cerebrali come il riconoscimento di pattern) ma con alti e bassi dal punto di vista della ricerca sull’hardware e sulle reti neurali.

Storia dell’intelligenza artificiale: l’invenzione del “percettrone”

Guardando un po’ alla storia passata, è alla fine degli anni ’50 che risale il primo modello di rete neurale: si trattava del cosiddetto “percettrone”, proposto nel 1958 da Frank Rosenblatt (noto psicologo e computer scientist americano), una rete con uno strato di ingresso e uno di uscita e una regola di apprendimento intermedia basata sull’algoritmo ‘error back-propagation’ (minimizzazione degli errori); la funzione matematica, in sostanza, in base alla valutazione sui dati effettivi in uscita – rispetto a un dato ingresso – altera i pesi delle connessioni (sinapsi) provocando una differenza tra l’uscita effettiva e quella desiderata.

Turing, Minsky e Papert

Alcuni esperti del settore fanno risalire proprio al percettrone di Rosenblatt la nascita della cibernetica e dell’intelligenza artificiale [Artificial Intelligence – AI: il termine in realtà fu coniato nel 1956 dal matematico statunitense John McCarthy, ed è del 1950 il primo assunto di Alan Turing nel quale spiega come un computer possa comportarsi come un essere umano – ndr], anche se negli anni immediatamente successivi i due matematici Marvin Minsky e Seymour Papert dimostrarono i limiti del modello di rete neurale di Rosenblatt: il percettrone era in grado di riconoscere, dopo opportuno “addestramento” solo funzioni linearmente separabili (attraverso il training set – l’algoritmo di apprendimento – nello spazio vettoriale degli input, si riescono a separare quelli che richiedono un output positivo da quelli che richiedono un output negativo); inoltre, le capacità computazionali di un singolo percettrone erano limitate e le prestazioni fortemente dipendenti sia dalla scelta degli input sia dalla scelta degli algoritmi attraverso i quali ‘modificare’ le sinapsi e quindi gli output.

I due matematici Minsky e Papert intuirono che costruire una rete a più livelli di percettroni avrebbe potuto risolvere problemi più complessi ma in quegli anni la crescente complessità computazionale richiesta dall’addestramento delle reti mediante gli algoritmi non aveva ancora trovato una risposta sul piano infrastrutturale (non esistevano sistemi hardware in grado di ‘reggere’ tali operazioni).

Storia dell’intelligenza artificiale: la svolta tecnologica degli anni Ottanta e Novanta

La prima svolta importante dal punto di vista tecnologico arriva tra la fine degli anni ’70 e il decennio degli anni ’80 con lo sviluppo delle Gpu che hanno ridotto notevolmente i tempi di addestramento delle reti, abbassandoli di 10/20 volte.

Negli anni ’90 si assiste a un ulteriore progresso con l’ingresso sul mercato “allargato” (arrivando cioè al grande pubblico) dei processori grafici, le Gpu – graphics processing unit (chip di elaborazione dati molto più veloci delle Cpu, provenienti dal mondo del gaming ed in grado di supportare processi complessi molto più rapidamente, per altro operando a frequenze più basse e consumando meno energia rispetto alle “vecchie” Cpu).

I chip neuromorfici

L’ondata più recente è arrivata nell’ultimo decennio con lo sviluppo dei cosiddetti “chip neuromorfici”, ossia microchip che integrano elaborazione dati e storage in un unico micro componente (grazie all’accelerazione che ha avuto anche la ricerca nel campo delle nanotecnologie) per emulare le funzioni sensoriali e cognitive del cervello umano (ambito quest’ultimo dove si stanno concentrando anche molte startup).

Storia dell’intelligenza artificiale: gli anni Duemila

Anni 2000-2010

Crescita del Machine learning (ML)

• Algoritmi migliorati: Si è assistito a un miglioramento significativo degli algoritmi di ML, come gli alberi decisionali, le reti neurali e le macchine a vettori di supporto (SVM).
• Big Data: L’aumento della quantità di dati disponibili ha permesso agli algoritmi di ML di diventare più accurati e utili.

Reti neurali e Deep learning

• Reti neurali convoluzionali (CNN): Utilizzate principalmente per il riconoscimento di immagini, le CNN hanno iniziato a ottenere risultati significativi.
• Reti neurali ricorrenti (RNN): Utilizzate per l’elaborazione del linguaggio naturale e la previsione di serie temporali.

Applicazioni pratiche

• Veicoli autonomi: I primi esperimenti e prototipi di veicoli autonomi hanno iniziato a prendere forma.
• Assistenti virtuali: Inizio dello sviluppo di assistenti virtuali come Siri di Apple (lanciato nel 2011).

Anni 2010-2020

Esplosione del Deep learning

Alexnet

• Descrizione: AlexNet è una rete neurale convoluzionale (CNN) sviluppata da Alex Krizhevsky, Ilya Sutskever e Geoffrey Hinton. Ha partecipato e vinto il concorso ImageNet Large Scale Visual Recognition Challenge (ILSVRC) nel 2012, ottenendo un tasso di errore significativamente inferiore rispetto ai concorrenti.
• Impatto: La vittoria di AlexNet ha dimostrato il potenziale delle CNN per il riconoscimento delle immagini, portando a un’adozione diffusa del deep learning in vari campi. Questo successo ha anche stimolato ulteriori ricerche e investimenti nel deep learning.

TensorFlow e PyTorch

• TensorFlow: Rilasciato da Google Brain nel 2015, TensorFlow è un framework open-source per il machine learning e il deep learning. Ha reso più accessibile la costruzione, l’addestramento e il deployment di modelli complessi grazie alla sua flessibilità e alla vasta documentazione.
• PyTorch: Rilasciato da Facebook AI Research (FAIR) nel 2016, PyTorch è un altro framework open-source che ha guadagnato popolarità grazie alla sua facilità d’uso e alla sua natura dinamica. PyTorch permette una maggiore flessibilità durante la fase di sviluppo e debugging dei modelli.
• Impatto: Questi framework hanno democratizzato l’accesso al deep learning, permettendo a ricercatori e sviluppatori di tutto il mondo di sperimentare e implementare modelli avanzati senza dover costruire tutto da zero. Hanno anche facilitato la collaborazione e la condivisione di conoscenze all’interno della comunità scientifica.

Riconoscimento vocale e NLP

Word2Vec (2013)

• Descrizione: Word2Vec è un modello di embedding sviluppato da un team di Google guidato da Tomas Mikolov. Il modello trasforma le parole in vettori numerici in uno spazio a bassa dimensionalità, dove parole con significati simili sono vicine tra loro.
• Impatto: Word2Vec ha rivoluzionato il campo dell’NLP permettendo una rappresentazione vettoriale delle parole più efficace rispetto ai metodi precedenti. Ha aperto la strada a numerose applicazioni, tra cui la traduzione automatica, l’analisi del sentiment e la ricerca semantica.

BERT (2018)

• Descrizione: BERT (Bidirectional Encoder Representations from Transformers) è un modello di linguaggio pre-addestrato sviluppato da Google. Utilizza una struttura basata sui Transformer, permettendo al modello di considerare il contesto delle parole sia a sinistra che a destra (bidirezionale).
• Impatto: BERT ha segnato un significativo progresso nel campo dell’NLP, migliorando le performance in una vasta gamma di compiti, tra cui la risposta a domande, il completamento di frasi e l’analisi del sentiment. La sua architettura bidirezionale ha permesso di catturare meglio il contesto delle parole, rendendo le previsioni più accurate.

Applicazioni avanzate

• Assistenti virtuali: L’adozione di tecnologie di riconoscimento vocale avanzato ha portato allo sviluppo di assistenti virtuali come Siri, Alexa e Google Assistant. Questi assistenti sono in grado di comprendere e rispondere a comandi vocali, facilitando numerose attività quotidiane.
• Traduzione automatica: Algoritmi avanzati di NLP hanno migliorato notevolmente la qualità della traduzione automatica. Servizi come Google Translate utilizzano modelli di deep learning per offrire traduzioni sempre più accurate e contestualmente appropriate.
• Chatbot e customer service: Le tecnologie di NLP sono state ampiamente adottate per sviluppare chatbot e sistemi di assistenza clienti automatizzati, migliorando l’efficienza e la qualità del servizio.

Questi progressi nel deep learning e nell’NLP hanno avuto un impatto significativo su molteplici settori, migliorando la capacità delle macchine di comprendere e interagire con il linguaggio umano. La combinazione di algoritmi avanzati e l’accessibilità offerta dai framework di deep learning ha accelerato l’innovazione e l’adozione di queste tecnologie su larga scala.

Applicazioni avanzate

• Veicoli autonomi: progressi significativi da parte di aziende come Tesla, Waymo e Uber.
• Sanità: AI utilizzata per la diagnosi medica e la scoperta di farmaci.
• Giochi: AlphaGo di DeepMind ha sconfitto il campione mondiale di Go nel 2016.

Storia dell’intelligenza artificiale: la nascita dell’AI Generativa

Nel 2017 un team di ricercatori di Google ha inventato i transformer, o trasformatori, un tipo di rete neurale in grado di tracciare la posizione di ogni parola o frase in una sequenza. Il significato di una parola dipende spesso dal significato di altre parole che la precedono o la seguono. Tenendo traccia di queste informazioni contestuali, i trasformatori possono gestire stringhe di testo più lunghe e catturare il significato delle parole con maggiore precisione.

2018-2019: GPT e GPT-2

I primi due grandi modelli linguistici di OpenAI. L’azienda vuole sviluppare un’intelligenza artificiale polivalente e generica e ritiene che i modelli linguistici di grandi dimensioni siano un passo fondamentale verso questo obiettivo. GPT (acronimo di Generative Pre-trained Transformer) batte i benchmark più avanzati dell’epoca per l’elaborazione del linguaggio naturale.

GPT combina i trasformatori con l‘apprendimento non supervisionato, un modo per addestrare i modelli di apprendimento automatico su dati (in questo caso, moltissimi testi) che non sono stati annotati in precedenza. In questo modo il software è in grado di individuare da solo gli schemi nei dati, senza che gli venga detto cosa sta guardando. Molti successi precedenti nel campo dell’apprendimento automatico si sono basati sull’apprendimento supervisionato e su dati annotati, ma l’etichettatura manuale dei dati è un lavoro lento che limita le dimensioni dei set di dati disponibili per l’addestramento.

L’arrivo di GPT-2 crea scalpore. OpenAI dichiara di essere così preoccupata che le persone possano usare GPT-2 “per generare un linguaggio ingannevole, distorto o abusivo” che non rilascerà il modello completo.

Anni 2020-2023

Modelli di linguaggio di grandi dimensioni (LLM):

• GPT-3 (2020): Un modello di linguaggio con 175 miliardi di parametri (i valori di una rete che vengono regolati durante l’addestramento), rispetto agli 1,5 miliardi di GPT-2, capace di generare testo coerente e rispondere a domande con un alto grado di accuratezza. GPT-3 colpisce la comunità scientifica. La sua capacità di generare testi simili a quelli umani rappresenta un grande balzo in avanti. GPT-3 può rispondere a domande, riassumere documenti, generare storie in diversi stili, tradurre tra inglese, francese, spagnolo e giapponese e molto altro ancora. Il suo mimetismo è sorprendente. Uno dei risultati più notevoli è che i guadagni di GPT-3 sono stati ottenuti grazie al sovradimensionamento di tecniche esistenti piuttosto che all’invenzione di nuove.
• Codex: Un modello derivato da GPT-3, utilizzato per la generazione di codice.

Gennaio 2022: InstructGPT

• OpenAI ha cercato di ridurre la quantità di disinformazione e di testo offensivo prodotto da GPT-3 utilizzando l’apprendimento per rinforzo per addestrare una versione del modello sulle preferenze dei tester umani. Il risultato, InstructGPT, è migliore nel seguire le istruzioni delle persone che lo utilizzano – noto come “allineamento” nel gergo dell’intelligenza artificiale – e produce meno linguaggio offensivo, meno disinformazione e meno errori in generale. In breve, InstructGPT è meno tossico.

Maggio-luglio 2022: OPT, BLOOM

• Meta ha costruito e regalato OPT, una ricostruzione di GPT-3. Hugging Face ha guidato un consorzio di circa 1.000 ricercatori volontari per costruire e rilasciare BLOOM.

Dicembre 2022: ChatGPT

• OpenAI è sbalordita dal modo in cui ChatGPT viene accolto. Nella prima dimostrazione, ChatGPT è stato presentato come un aggiornamento incrementale di InstructGPT. Come quel modello, ChatGPT è stato addestrato usando l’apprendimento per rinforzo sul feedback di tester umani che hanno valutato le sue prestazioni come interlocutore fluido, accurato e inoffensivo. In effetti, OpenAI ha addestrato GPT-3 a padroneggiare il gioco della conversazione e ha invitato tutti a giocare.

AI etica e regolamentazione:

• Bias e trasparenza: Crescente attenzione alla riduzione dei bias nei modelli di AI e alla trasparenza degli algoritmi.
• Regolamentazione: Inizio di discussioni e implementazione di regolamenti per l’uso etico dell’AI.

Applicazioni emergenti:

• Medicina personalizzata: Utilizzo dell’AI per creare trattamenti medici personalizzati.
• Agricoltura: AI per ottimizzare la produzione agricola e monitorare le colture.
• Arte e creatività: Generazione di musica, arte e letteratura tramite AI.

Integrazione diffusa:

• Industria: Automazione avanzata e manutenzione predittiva.
• Servizi finanziari: Analisi predittiva e rilevamento delle frodi.
• Intrattenimento: Raccomandazioni personalizzate e creazione di contenuti.

Appendice

L’AI nel cinema

Parlare di casi applicativi per l’intelligenza artificiale è impossibile senza citare il mondo del cinema e la grandissima filmografia che esiste proprio intorno ai robot, all’AI, al Machine learning. Una cinematografia che vale la pena di studiare a fondo proprio perché spesso foriera di visioni e preziose anticipazioni del mondo e del mercato che in molti casi si sono poi concretizzate nell’arco di pochi anni. Nasce con questo spirito di monitoraggio e analisi la nostra “guida speciale” denominata Film intelligenza artificiale, costantemente aggiornata anche grazie al contributo dei lettori.