Uno studio guidato dal ricercatore ICTP Jean Barbier risolve un problema teorico aperto da decenni e spiega come le reti neurali profonde estraggono le informazioni più importanti dai dati, aprendo la strada a sistemi di IA più efficienti e meno costosi.
Jean Barbier, ricercatore del Centro internazionale di fisica teorica Abdus Salam (ICTP) di Trieste, insieme a un team di quattro collaboratori, ha recentemente elaborato una descrizione teorica approfondita del processo di apprendimento in una determinata classe di reti neurali profonde, facendo luce sui processi fondamentali alla base dell’Intelligenza Artificiale. Queste conoscenze potrebbero aiutarci a progettare algoritmi più efficienti e ad ottimizzarne i costi. I loro risultati sono stati pubblicati su Physical Review X.
I 5 co-autori dell’articolo pubblicato su Physical Review X. Da sinistra a destra: Mauro Pastore, Francesco Camilli, Jean Barbier, Rudy Skerk, and Minh-Toan Nguyen. © Alessandro Cenni / ICTP Photo Archive
L’intelligenza artificiale è estremamente efficiente nell’elaborare grandi quantità di dati ed estrarne le caratteristiche chiave. Nonostante questo successo, non comprendiamo ancora appieno come gli algoritmi di intelligenza artificiale e in particolate le cosiddette “deep neural networks”, o reti neurali profonde, riescano ad apprendere in modo così efficace dai dati che vengono loro forniti. Il lavoro di Jean Barbier e del suo team chiarisce finalmente alcuni dei meccanismi alla base di questi processi.
«Il problema che abbiamo risolto rappresentava un ostacolo su cui la comunità scientifica era bloccata da decenni», spiega Barbier. «Il quadro teorico che abbiamo sviluppato è la chiave che ci mancava per comprendere come funzionano le reti neurali complesse che sono alla base delle applicazioni odierne», aggiunge. Le scoperte del suo team potrebbero rivelarsi fondamentali per sviluppare algoritmi di addestramento dei modelli di IA migliori e più efficienti e, in ultima analisi, ottimizzarne i costi.
Il nodo principale da sciogliere era capire come avviene il “feature learning” o “apprendimento delle caratteristiche”, la proprietà che rende davvero le reti neurali degli strumenti potenti e capaci di generalizzare le informazioni anche al di là del set di dati iniziale usato nella fase di apprendimento e che consiste nell’estrarne le informazioni chiave.
Per caratterizzare la capacità delle reti neurali di riconoscere dei pattern nei dati complessi, per più di quarant’anni i fisici hanno fatto uso della fisica statistica, che si occupa di studiare sistemi costituiti da un grande numero di elementi. Questi strumenti teorici però erano insufficienti e consentivano di prendere in considerazione solo reti neurali troppo semplici per poter essere di reale interesse nelle applicazioni moderne, come spiega Francesco Camilli, uno degli autori dello studio, attualmente professore associato presso l’Università di Bologna.
Determinati a sviluppare una teoria in grado di descrivere dei sistemi più realistici, basati sulle reti neurali profonde, i ricercatori hanno quindi unito la teoria dei sistemi disordinati alla teoria delle matrici casuali, che consente di descrivere il comportamento statistico dei sistemi di grandi dimensioni e si è rivelata fondamentale per affrontare la complessità delle reti neurali profonde. Il quadro teorico sviluppato in questo modo fornisce una ricca descrizione locale del processo di apprendimento.
Barbier e il suo team hanno applicato la loro teoria a un tipo specifico di rete neurale, il cosiddetto percettrone multistrato, un componente fondamentale dei modelli alla base dei moderni chatbot. Il team è riuscito a prevedere con precisione come le prestazioni di una rete neurale profonda evolvono in funzione della quantità di dati in ingresso e a comprenderne i complessi meccanismi di apprendimento. Ad esempio, il loro studio ha messo in luce una proprietà interessante: l’apprendimento è direzionale e si propaga dagli strati interni a quelli esterni (più profondi) della rete neurale. «Questo è in qualche modo intuitivo, poiché gli strati più profondi apprendono caratteristiche più astratte basandosi su quelle più elementari codificate dagli strati precedenti. Tenere conto di questo aspetto potrebbe aiutarci a sviluppare algoritmi di addestramento più efficaci», afferma Minh-Toan Nguyen, ricercatore post-dottorato dell’ICTP che ha collaborato al progetto.
Questi risultati rappresentavano anche l’obiettivo che Barbier si era prefissato per il suo progetto quinquennale CHORAL (Computational Hardness Of RepresentAtion Learning), finanziato dall’ERC e avviato nel 2021. «Il progetto era molto ambizioso e all’inizio non era affatto scontato che saremmo riusciti a raggiungere il nostro obiettivo principale», afferma Barbier. «I nostri risultati sono il frutto di un processo di ricerca davvero collaborativo, arricchito dal continuo scambio di idee, punti di vista e competenze all’interno del team», afferma Mauro Pastore, anch’egli ricercatore post-dottorato presso l’ICTP.
Il lavoro però non si ferma qui. Il team ha finora studiato le migliori prestazioni che una rete può raggiungere in un compito molto specifico. «Con queste basi, ora intendiamo capire se gli algoritmi di addestramento utilizzati nella pratica possano raggiungere queste prestazioni ideali. Si tratta proprio del tipo di conoscenza che potrebbe aiutare ad addestrare modelli di IA reali più rapidamente e a costi inferiori», ha commentato il coautore Rudy Skerk, dottorando presso la Scuola Internazionale di Studi Avanzati (SISSA). Ora Barbier e i suoi collaboratori intendono applicare gli strumenti teorici che hanno sviluppato a reti neurali più complesse e realistiche, in particolare quelle alla base dell’IA generativa.
Articolo su Physical Review X: Barbier, Jean; Camilli, Francesco; Nguyen, Minh-Toan; Pastore, Mauro & Skerk, Rudy. (2026). Statistical physics of deep learning: Optimal learning of a multilayer perceptron near interpolation. Physical Review X, 16, 031014,
