1. Contesto storico
2. Reti ricorrenti e il modello di Hopfield
3. Macchina di Boltzmann e l’algoritmo di Hinton
4. Deep learning e algoritmo di backpropagation
5. Applicazioni in Fisica e in Altri Ambiti Scientifici

Il Premio Nobel per la Fisica 2024 è stato assegnato a John J. Hopfield e Geoffrey E. Hinton per i loro contributi fondativi alle reti neurali artificiali (ANNs), che costituiscono il cuore del machine learning. Le ANNs sono ispirate dalla struttura del cervello e dai neuroni biologici, sono quindi sostanzialmente costituite da nodi (neuroni artificiali) e connessioni ponderate (sinapsi artificiali) che possono essere addestrati per eseguire compiti specifici. A differenza dei sistemi di calcolo tradizionali che eseguono una serie predefinita di istruzioni, le ANNs vengono addestrate, utilizzando algoritmi di ottimizzazione, per migliorare la loro capacità di completare compiti quali riconoscimento di immagini e predizione di sequenze.

Contesto storico

L’idea delle reti neurali artificiali risale agli anni quaranta, quando i primi computer in grado di svolgere calcoli complessi furono sviluppati per scopi militari e scientifici. Durante gli anni cinquanta, però, emerse il desiderio di creare sistemi in grado di replicare capacità umane come il riconoscimento di schemi. Tale idea fu inizialmente perseguita tramite programmi basati su regole logiche, ma si scoprì presto che tali sistemi erano limitati e richiedevano risorse computazionali proibitive.

Parallelamente, iniziò a svilupparsi la comprensione di come i sistemi biologici risolvono i problemi di riconoscimento dei modelli. Warren McCulloch e Walter Pitts proposero un modello di neurone artificiale in grado di calcolare la somma pesata dei segnali binari in ingresso per determinare un output anch’esso binario. Questo modello, pur semplice, costituì un punto di partenza per la ricerca sulle reti neurali, sia biologiche che artificiali.

Reti ricorrenti e il modello di Hopfield

Tra le prime architetture esplorate si trovano le reti ricorrenti e le reti feedforward. John J. Hopfield ha proposto una rete ricorrente, nota come modello di Hopfield, che rappresenta i neuroni come nodi binari. In questo modello, i nodi possono assumere appunto valori binari, ad esempio 0 o 1, e sono connessi tra loro tramite dei cosiddetti pesi simmetrici che seguono delle regole ben precise.

In particolare, ciascun nodo cambia il proprio stato in funzione di una sorta di campo locale e si attiva (assumendo il valore 1) se il campo supera una soglia (che, nel caso base, è zero). Questo sistema può essere interpretato come un paesaggio energetico, in cui le configurazioni dei nodi corrispondono a posizioni in una funzione matematica detta funzione di energia.

Durante l’evoluzione dinamica, il sistema tende a minimizzare l’energia, portando i nodi verso stati stabili (minimi locali di energia), che rappresentano “ricordi” o configurazioni memorizzate nel sistema.

Hopfield utilizzò il suo modello per risolvere problemi di memoria associativa e correzione degli errori, in cui un pattern incompleto o distorto viene ripristinato grazie alla convergenza verso il minimo locale più vicino.

Macchina di Boltzmann e l’algoritmo di Hinton

Geoffrey E. Hinton contribuì allo sviluppo delle macchine di Boltzmann, una forma stocastica del modello di Hopfield. Le macchine di Boltzmann sono reti generative che utilizzano un’energia iniziale, contenente un termine cosiddetto di bias locale, e i nodi possono assumere valori in modo probabilistico in base a un distribuzione matematica ben precisa, detta di Boltzmann. Si tratta di una distribuzione ampiamente usata in termodinamica, solo che nel nostro caso la “temperatura” è un parametro fittizio che regola la probabilità di fluttuazione “termica” dei nodi. In altre parole, un nodo è più probabile che cambi stato se la variazione di energia risultante è piccola o negativa.

Questo modello consente la presenza di nodi nascosti, che aggiungono flessibilità e permettono alla rete di modellare distribuzioni di probabilità più complesse. In fase di addestramento, i pesi di cui abbiamo parlato prima vengono aggiornati per ridurre al minimo la differenza tra la distribuzione delle configurazioni visibili della rete e la distribuzione dei dati di addestramento. Hinton introdusse il metodo della divergenza contrastiva per l’addestramento, il quale richiede solo simulazioni rapide a breve termine, rendendo la macchina di Boltzmann molto più efficiente.

Deep learning e algoritmo di backpropagation

Negli anni ottanta e novanta Hinton, insieme a David Rumelhart e Ronald Williams, dimostrò come le reti feedforward, dotate di uno o più strati nascosti, potessero essere addestrate per eseguire compiti complessi tramite il cosiddetto algoritmo di backpropagation, il cui obiettivo è quello di minimizzare l’errore (o, più precisamente, la funzione di errore), spesso espresso come deviazione quadratica media tra l’output della rete e i dati di addestramento. Per ottenere tale minimizzazione si calcola come la variazione dell’errore dipende dalla variazione dei pesi e si aggiornano i pesi in modo adeguato.

Applicazioni in Fisica e in Altri Ambiti Scientifici

Le ANNs sono diventate strumenti essenziali nella fisica moderna, usate per approssimare funzioni complesse, riducendo il carico computazionale richiesto. Ad esempio, nella meccanica quantistica, si impiegano reti neurali profonde per riprodurre l’energia di stati quantistici o per modellare le interazioni tra atomi. Questi approcci, una volta addestrati, permettono simulazioni rapide, facilitando la scoperta di nuovi materiali e l’analisi di transizioni di fase.

In fisica delle particelle, le ANNs sono utilizzate per identificare particelle elusive, come il bosone di Higgs, a partire dai dati raccolti nei rilevatori. I modelli addestrati permettono di separare i segnali dei decadimenti delle particelle dalle interferenze di fondo, migliorando l’efficienza e la precisione delle analisi. Nella ricerca astrofisica, le ANNs sono utilizzate per analizzare i dati dei telescopi e rilevare eventi rari, come i transiti di esopianeti o le emissioni di neutrini da sorgenti astrofisiche.

Hopfield e Hinton hanno, in sostanza, posto le basi del machine learning moderno, sviluppando modelli fisici che sfruttano le proprietà collettive di sistemi di nodi per creare sistemi computazionali efficienti. La rivoluzione portata dal deep learning, facilitata dalle tecniche di pre-training e dai modelli generativi come le macchine di Boltzmann, ha cambiato il panorama dell’intelligenza artificiale, rendendo possibile l’uso di ANNs in un’ampia gamma di applicazioni scientifiche e industriali.