Perché i modelli faticano a moltiplicare numeri a quattro cifre ^{CEFR B2}

Ricercatori guidati da Xiaoyan Bai e Chenhao Tan all'University of Chicago, con team del MIT, Harvard, University of Waterloo e Google DeepMind, hanno studiato perché i modelli di linguaggio moderni falliscono nel moltiplicare numeri a quattro cifre. Il lavoro si è concentrato sulle dipendenze a lungo raggio: per risolvere il compito occorre conservare prodotti parziali e somme progressive e richiamarli nei passaggi successivi.

Con la messa a punto standard, modelli con 2–12 livelli hanno ottenuto meno dell'1% di accuratezza, suggerendo che rimangono intrappolati in ottimi locali e apprendono solo pattern superficiali. Il modello addestrato con Implicit Chain of Thought (ICoT) ha invece raggiunto il 100%: l'analisi degli stati nascosti ha permesso di decodificare le somme progressive, mostrando che il modello codifica e conserva i valori intermedi.

Gli autori osservano che ICoT organizza l'attenzione in percorsi temporali distinti: strati iniziali calcolano e memorizzano prodotti di coppie di cifre, mentre strati successivi richiamano quei valori per formare la risposta finale. Hanno anche notato rappresentazioni delle cifre in basi simili a quelle di Fourier e l'emergere spontaneo di un'operazione geometrica analoga alla somma di Minkowski.

Per testare un intervento semplice, i ricercatori hanno aggiunto un obiettivo che insegna a tracciare le somme progressive ad ogni passo; ciò ha portato un modello a 2 livelli al 99% di accuratezza senza supervisione esplicita di chain-of-thought. Lo studio sottolinea che non basta aumentare dati o parametri: indicazioni architetturali e obiettivi mirati possono abilitare il ragionamento multi-step. "Poiché l'AI viene sempre più integrata nei processi decisionali critici, è essenziale comprenderne i modi peculiari di apprendere e pensare", afferma Tan.

Fonte: University of Chicago