I fisici John Hopfield e Geoffrey Hinton sono stati insigniti del Premio Nobel per la Fisica 2024 per il loro lavoro pionieristico nella ricerca che ha reso possibile l’apprendimento automatico attraverso le reti neurali artificiali.
I due scienziati condivideranno un premio di 11 milioni di corone svedesi (circa 1,1 milioni di dollari, 968.241 euro). Questo prestigioso riconoscimento sottolinea l’importanza crescente delle tecnologie basate sull’intelligenza artificiale nel panorama scientifico ed economico globale.
Il Premio Nobel per la fisica guarda al futuro
Il lavoro di Hopfield e Hinton ha aperto nuove frontiere nel campo del machine learning, influenzando profondamente settori come la sanità, l’assistenza virtuale e la produttività lavorativa
Geoffrey Hinton: “L’apprendimento automatico supererà le capacità intellettuali umane”
Il britannico-canadese Geoffrey Hinton, noto scienziato informatico e psicologo cognitivo, nato il 6 dicembre 1947 a Londra, ha parlato alla stampa subito dopo l’annuncio dei vincitori. “Sono sbalordito, non avevo idea che sarebbe successo, sono molto sorpreso,” ha dichiarato Hinton, esprimendo il suo stupore per il prestigioso riconoscimento. Ha sottolineato come i progressi nelle reti neurali avranno un impatto enorme, paragonabile a quello della rivoluzione industriale. “L’apprendimento automatico supererà le capacità intellettuali umane,” ha aggiunto, evidenziando sia le potenzialità che i rischi associati a queste tecnologie.
Tra innovazione e cautela
Hinton ha elencato le numerose applicazioni delle reti neurali, che vanno dalla sanità agli assistenti virtuali, fino all’aumento della produttività lavorativa. Tuttavia, ha anche avvertito dei possibili pericoli, sottolineando che l’apprendimento automatico potrebbe sfuggire al controllo. Ha ammesso di fare un largo uso di Chat GPT-4, sebbene con qualche riserva: “Non mi fido completamente, a volte può avere allucinazioni,” ha detto.
La rete neurale di Hopfield
John Hopfield, nato il 15 luglio 1933 a Chicago, ha inventato una rete che utilizza un metodo per salvare e ricreare modelli. Possiamo immaginare i nodi come pixel. La rete di Hopfield utilizza la fisica che descrive le caratteristiche di un materiale grazie al suo spin atomico, una proprietà che rende ogni atomo un piccolo magnete. La rete nel suo complesso è descritta in modo equivalente all’energia del sistema di spin presente in fisica e viene addestrata trovando valori per le connessioni tra i nodi in modo che le immagini salvate abbiano una bassa energia. Quando la rete Hopfield riceve un’immagine distorta o incompleta, lavora metodicamente attraverso i nodi e aggiorna i loro valori in modo che l’energia della rete diminuisca. La rete lavora quindi in modo graduale per trovare l’immagine salvata più simile a quella imperfetta con cui è stata alimentata.
Hinton e la macchina di Boltzmann
Geoffrey Hinton ha utilizzato la rete Hopfield come base per una nuova rete che utilizza un metodo diverso: la macchina di Boltzmann. Questa può imparare a riconoscere elementi caratteristici in un dato tipo di dati. Hinton ha utilizzato strumenti della fisica statistica, la scienza dei sistemi costruiti a partire da molti componenti simili. La macchina viene addestrata fornendo esempi che hanno una grande probabilità di verificarsi quando la macchina viene fatta funzionare.
La macchina di Boltzmann può essere utilizzata per classificare immagini o creare nuovi esempi del tipo di modello su cui è stata addestrata. Hinton ha fatto tesoro di questo lavoro, contribuendo a dare il via all’attuale sviluppo esplosivo dell’apprendimento automatico.
Premio Nobel per la fisica a Hinton e Hopfield: la storia della loro invenzione
Oggi possiamo sperimentare come i computer possano tradurre tra lingue diverse, interpretare immagini e persino condurre conversazioni ragionevoli. Ciò che forse è meno noto è che questo tipo di tecnologia è stato a lungo importante per la ricerca, inclusa la classificazione e l’analisi di ingenti quantità di dati. Lo sviluppo del machine learning è esploso negli ultimi quindici-vent’anni e utilizza una struttura chiamata rete neurale artificiale. Oggi, quando parliamo di intelligenza artificiale, spesso ci riferiamo a questo tipo di tecnologia.
Sebbene i computer non possano pensare, le macchine possono ora imitare funzioni come la memoria e l’apprendimento. I vincitori di quest’anno del Premio Nobel per la Fisica hanno contribuito a rendere ciò possibile. Utilizzando concetti e metodi fondamentali della fisica, hanno sviluppato tecnologie che utilizzano strutture nelle reti per elaborare informazioni.
Il machine learning si differenzia dal software tradizionale, che funziona come una sorta di ricetta. Il software riceve dati, che vengono elaborati secondo una chiara descrizione e produce risultati, proprio come quando qualcuno raccoglie ingredienti e li lavora seguendo una ricetta, producendo una torta. Invece, nel machine learning, il computer impara per esempio, permettendogli di affrontare problemi troppo vaghi e complicati per essere gestiti con istruzioni passo dopo passo. Un esempio è l’interpretazione di un’immagine per identificare gli oggetti in essa contenuti.
Imitazione del cervello
Una rete neurale artificiale elabora informazioni utilizzando l’intera struttura della rete. L’ispirazione iniziale è venuta dal desiderio di comprendere come funziona il cervello. Negli anni ’40, i ricercatori avevano iniziato a ragionare sulla matematica che sottende la rete di neuroni e sinapsi del cervello. Un altro pezzo del puzzle è venuto dalla psicologia, grazie all’ipotesi del neuroscienziato Donald Hebb su come avviene l’apprendimento perché le connessioni tra i neuroni si rafforzano quando lavorano insieme.
Successivamente, queste idee furono seguite da tentativi di ricreare il funzionamento della rete cerebrale costruendo reti neurali artificiali come simulazioni al computer. In queste, i neuroni del cervello sono imitati da nodi a cui vengono assegnati valori diversi, e le sinapsi sono rappresentate da connessioni tra i nodi che possono essere rese più forti o più deboli. L’ipotesi di Donald Hebb è ancora utilizzata come una delle regole di base per aggiornare le reti artificiali attraverso un processo chiamato addestramento.
Alla fine degli anni ’60, alcuni risultati teorici scoraggianti portarono molti ricercatori a sospettare che queste reti neurali non sarebbero mai state di reale utilità. Tuttavia, l‘interesse per le reti neurali artificiali si riaccese negli anni ’80, quando diverse idee importanti fecero impatto, incluso il lavoro dei vincitori di quest’anno.
Memoria associativa
Immaginiamo di cercare di ricordare una parola piuttosto insolita che usiamo raramente, come quella per indicare il pavimento inclinato spesso presente nei cinema e nelle aule. Cerchiamo nella memoria. È qualcosa come rampa… forse rad…iale? No, non è così.
Questo processo di ricerca attraverso parole simili per trovare quella giusta ricorda la memoria associativa che il fisico John Hopfield scoprì nel 1982. La rete di Hopfield può immagazzinare schemi e ha un metodo per ricrearli. Quando alla rete viene dato un modello incompleto o leggermente distorto, il metodo può trovare lo schema immagazzinato più simile.
Hopfield aveva precedentemente utilizzato il suo background in fisica per esplorare problemi teorici in biologia molecolare. Quando fu invitato a un incontro sulla neuroscienza, incontrò ricerche sulla struttura del cervello. Fu affascinato da ciò che apprese e iniziò a pensare alla dinamica delle semplici reti neurali. Quando i neuroni agiscono insieme, possono dare origine a nuove e potenti caratteristiche che non sono evidenti a chi guarda solo i componenti separati della rete.
Nel 1980, Hopfield lasciò la sua posizione presso la Princeton University, dove i suoi interessi di ricerca lo avevano portato al di fuori delle aree in cui lavoravano i suoi colleghi in fisica, e si trasferì dall’altra parte del continente. Accettò l’offerta di una cattedra in chimica e biologia al Caltech (California Institute of Technology) a Pasadena, nel sud della California. Lì, aveva accesso a risorse informatiche che poteva utilizzare per esperimenti gratuiti e per sviluppare le sue idee sulle reti neurali.
Tuttavia, non abbandonò il suo fondamento in fisica, dove trovò ispirazione per la sua comprensione di come sistemi con molti piccoli componenti che lavorano insieme possono dare origine a nuovi e interessanti fenomeni. Traeva particolarmente beneficio dall’aver appreso dei materiali magnetici che hanno caratteristiche speciali grazie al loro spin atomico – una proprietà che rende ogni atomo un piccolo magnete.
Gli spin degli atomi vicini si influenzano a vicenda; questo può permettere la formazione di domini con spin nella stessa direzione. Fu in grado di creare una rete modello con nodi e connessioni utilizzando la fisica che descrive come i materiali si sviluppano quando gli spin si influenzano a vicenda.
La rete di Hopfield
La rete che Hopfield costruì ha nodi che sono tutti collegati tra loro tramite connessioni di diversa forza. Ogni nodo può memorizzare un valore individuale – nel primo lavoro di Hopfield questo poteva essere 0 o 1, come i pixel in un’immagine in bianco e nero.
Hopfield descrisse lo stato complessivo della rete con una proprietà che è equivalente all’energia nel sistema di spin trovato in fisica; l’energia è calcolata utilizzando una formula che utilizza tutti i valori dei nodi e tutte le forze delle connessioni tra di essi. La rete di Hopfield è programmata da un’immagine che viene alimentata ai nodi, ai quali viene dato il valore di nero (0) o bianco (1). Le connessioni della rete vengono quindi regolate utilizzando la formula dell’energia, in modo che l’immagine salvata ottenga bassa energia. Quando un altro schema viene alimentato nella rete, esiste una regola per passare attraverso i nodi uno per uno e controllare se la rete ha energia più bassa se il valore di quel nodo viene cambiato. Se risulta che l’energia viene ridotta se un pixel nero viene invece bianco, cambia colore. Questa procedura continua fino a quando non è possibile trovare ulteriori miglioramenti. Quando viene raggiunto questo punto, la rete ha spesso riprodotto l’immagine originale su cui è stata addestrata.
Questo potrebbe non sembrare così notevole se si salva solo uno schema. Potremmo chiederci perché non si salva semplicemente l’immagine stessa e la si confronta con un’altra immagine da testare, ma il metodo di Hopfield è speciale perché possono essere salvate diverse immagini contemporaneamente e la rete può solitamente differenziarle.
Hopfield paragonò la ricerca nella rete di uno stato salvato a far rotolare una palla attraverso un paesaggio di picchi e valli, con attrito che rallenta il suo movimento. Se la palla viene lasciata cadere in una posizione particolare, rotolerà nella valle più vicina e si fermerà lì. Se alla rete viene dato un modello che è vicino a uno degli schemi salvati, allo stesso modo, continuerà a avanzare fino a quando non finirà in fondo a una valle nel paesaggio energetico, trovando così lo schema più vicino nella sua memoria.
La rete di Hopfield può essere utilizzata per ricreare dati che contengono rumore o che sono stati parzialmente cancellati.
Hopfield e altri hanno continuato a sviluppare i dettagli di come funziona la rete di Hopfield, inclusi nodi che possono memorizzare qualsiasi valore, non solo zero o uno. Se pensi ai nodi come pixel in un’immagine, possono avere diversi colori, non solo bianco o nero. Metodi migliorati hanno reso possibile salvare più immagini e differenziarle anche quando sono piuttosto simili. È altrettanto possibile identificare o ricostruire qualsiasi informazione, a condizione che sia costruita da molti punti dati.
Classificazione con la fisica del XIX secolo
Ricordare un’immagine è una cosa, ma interpretare ciò che essa rappresenta richiede un po’ di più.
Anche i bambini molto piccoli possono indicare diversi animali e dire con sicurezza se si tratta di un cane, un gatto o uno scoiattolo. Potrebbero sbagliare occasionalmente, ma abbastanza presto avranno ragione quasi tutto il tempo. Un bambino può imparare questo anche senza vedere diagrammi o spiegazioni di concetti come specie o mammifero. Dopo aver incontrato alcuni esempi di ciascun tipo di animale, le diverse categorie si stabiliscono nella mente del bambino. Le persone imparano a riconoscere un gatto, a capire una parola o a entrare in una stanza e notare che qualcosa è cambiato, vivendo l’ambiente intorno a loro.
Quando Hopfield pubblicò il suo articolo sulla memoria associativa, Geoffrey Hinton lavorava alla Carnegie Mellon University di Pittsburgh, USA. Aveva precedentemente studiato psicologia sperimentale e intelligenza artificiale in Inghilterra e Scozia e si chiedeva se le macchine potessero imparare a elaborare i modelli in modo simile agli esseri umani, trovando le proprie categorie per ordinare e interpretare le informazioni. Insieme al suo collega, Terrence Sejnowski, Hinton partì dalla rete di Hopfield e la espanse per costruire qualcosa di nuovo, utilizzando idee dalla fisica statistica.
La fisica statistica descrive sistemi che sono composti da molti elementi simili, come le molecole in un gas. È difficile, o impossibile, tracciare tutte le molecole separate nel gas, ma è possibile considerarle collettivamente per determinare le proprietà generali del gas come pressione o temperatura. Ci sono molti modi potenziali perché le molecole di gas si distribuiscano nel suo volume a velocità individuali e producano ancora le stesse proprietà collettive.
Gli stati in cui i singoli componenti possono esistere congiuntamente possono essere analizzati utilizzando la fisica statistica, e la probabilità che si verifichino calcolata. Alcuni stati sono più probabili di altri; ciò dipende dalla quantità di energia disponibile, che è descritta in un’equazione dal fisico del XIX secolo Ludwig Boltzmann. La rete di Hinton utilizzava quell’equazione, e il metodo fu pubblicato nel 1985 con il nome suggestivo di macchina di Boltzmann.
La macchina di Boltzmann: riconoscere nuovi esempi dello stesso tipo
La macchina di Boltzmann viene comunemente utilizzata con due diversi tipi di nodi. Le informazioni vengono fornite a un gruppo, chiamato nodi visibili. Gli altri nodi formano uno strato nascosto. I valori dei nodi nascosti e le connessioni contribuiscono anche all’energia complessiva della rete.
La macchina viene eseguita applicando una regola per aggiornare i valori dei nodi uno alla volta. Alla fine, la macchina entrerà in uno stato in cui il modello dei nodi può cambiare, ma le proprietà della rete nel suo complesso rimangono le stesse. Ogni modello possibile avrà quindi una probabilità specifica che è determinata dall’energia della rete secondo l’equazione di Boltzmann. Quando la macchina si ferma, ha creato un nuovo modello, il che rende la macchina di Boltzmann un primo esempio di modello generativo.
La macchina di Boltzmann può imparare, non dalle istruzioni, ma dagli esempi forniti. Viene addestrata aggiornando i valori nelle connessioni della rete in modo che i modelli di esempio, che sono stati forniti ai nodi visibili durante l’addestramento, abbiano la massima probabilità possibile di verificarsi quando la macchina viene eseguita. Se lo stesso modello viene ripetuto più volte durante questo addestramento, la probabilità per questo modello è ancora più alta.
L’addestramento influisce anche sulla probabilità di emettere nuovi modelli che assomigliano agli esempi su cui la macchina è stata addestrata.
Una macchina di Boltzmann addestrata può riconoscere tratti familiari in informazioni che non ha mai visto prima. Immaginiamo di incontrare il fratello di un amico e di vedere immediatamente che devono essere imparentati. Allo stesso modo, la macchina di Boltzmann può riconoscere un esempio completamente nuovo se appartiene a una categoria trovata nel materiale di addestramento e differenziarlo da materiale che è dissimile.
Nella sua forma originale, la macchina di Boltzmann è piuttosto inefficiente e impiega molto tempo per trovare soluzioni. Le cose diventano più interessanti quando viene sviluppata in vari modi, cosa che Hinton ha continuato a esplorare. Le versioni successive sono state alleggerite, poiché le connessioni tra alcune delle unità sono state rimosse. Si scopre che questo può rendere la macchina più efficiente.
Durante gli anni ’90, molti ricercatori persero interesse nelle reti neurali artificiali, ma Hinton fu uno di quelli che continuarono a lavorare nel campo. Contribuì anche a dare inizio alla nuova esplosione di risultati entusiasmanti; nel 2006, lui e i suoi colleghi Simon Osindero, Yee Whye Teh e Ruslan Salakhutdinov svilupparono un metodo per preaddestrare una rete con una serie di macchine di Boltzmann a strati, una sopra l’altra. Questo preaddestramento diede alle connessioni nella rete un punto di partenza migliore, ottimizzando il suo addestramento per riconoscere elementi nelle immagini.
La macchina di Boltzmann viene spesso utilizzata come parte di una rete più ampia. Ad esempio, può essere utilizzata per raccomandare film o serie televisive in base alle preferenze dello spettatore.
Machine learning, oggi e domani
Grazie al loro lavoro dagli anni ’80 in poi, John Hopfield e Geoffrey Hinton hanno contribuito a gettare le basi per la rivoluzione del machine learning iniziata intorno al 2010.
Lo sviluppo che stiamo ora assistendo è stato reso possibile dall’accesso a vasti quantitativi di dati che possono essere utilizzati per addestrare reti e dall’enorme incremento della potenza di calcolo. Le reti neurali artificiali di oggi sono spesso enormi e costruite da molti strati. Queste sono chiamate reti neurali profonde e il modo in cui vengono addestrate è chiamato deep learning.
Un articolo di Hopfield del 1982
Un rapido sguardo all’articolo di Hopfield sulla memoria associativa, del 1982, fornisce una prospettiva su questo sviluppo. In esso, utilizzava una rete con 30 nodi. Se tutti i nodi sono collegati tra loro, ci sono 435 connessioni. I nodi hanno i loro valori, le connessioni hanno diverse forze e, in totale, ci sono meno di 500 parametri da tenere sotto controllo. Ha anche provato una rete con 100 nodi, ma era troppo complicata, dato il computer che stava usando all’epoca. Possiamo confrontarlo con i modelli linguistici di grandi dimensioni di oggi, che sono costruiti come reti che possono contenere più di un trilione di parametri (un milione di milioni).
Molti ricercatori stanno ora sviluppando le aree di applicazione del machine learning. Quali saranno le più valide resta da vedere, mentre c’è anche un ampio dibattito sulle questioni etiche che circondano lo sviluppo e l’uso di questa tecnologia.
Poiché la fisica ha contribuito con strumenti per lo sviluppo del machine learning, è interessante vedere come la fisica, come campo di ricerca, stia anche beneficiando delle reti neurali artificiali. Il machine learning è stato a lungo utilizzato in aree che potremmo riconoscere dai precedenti Premi Nobel per la Fisica. Questi includono l’uso del machine learning per selezionare ed elaborare le enormi quantità di dati necessarie per scoprire la particella di Higgs. Altre applicazioni includono la riduzione del rumore nelle misurazioni delle onde gravitazionali da buchi neri in collisione, o la ricerca di esopianeti.
Negli ultimi anni, questa tecnologia ha anche iniziato a essere utilizzata nel calcolo e nella previsione delle proprietà di molecole e materiali, come il calcolo della struttura delle molecole proteiche, che determina la loro funzione, o la determinazione di quali nuove versioni di un materiale possono avere le migliori proprietà per l’uso in celle solari più efficienti.
Conclusioni
Al momento della notizia dell’assegnazione del premio Nobel, Hinton si trovava in un semplice hotel in California, con una connessione Internet e telefonica non delle migliori. Questo dettaglio aggiunge un tocco umano alla storia di un uomo la cui ricerca sta cambiando il mondo, dimostrando che la genialità può emergere in qualsiasi circostanza.
Per saperne di più sul Premio Nobel per la Fisica 2024
