Ricercatori guidati da Xiaoyan Bai e Chenhao Tan all'University of Chicago, con team del MIT, Harvard, University of Waterloo e Google DeepMind, hanno studiato perché i modelli di linguaggio moderni falliscono nel moltiplicare numeri a quattro cifre. Il lavoro si è concentrato sulle dipendenze a lungo raggio: per risolvere il compito occorre conservare prodotti parziali e somme progressive e richiamarli nei passaggi successivi.
Con la messa a punto standard, modelli con 2–12 livelli hanno ottenuto meno dell'1% di accuratezza, suggerendo che rimangono intrappolati in ottimi locali e apprendono solo pattern superficiali. Il modello addestrato con Implicit Chain of Thought (ICoT) ha invece raggiunto il 100%: l'analisi degli stati nascosti ha permesso di decodificare le somme progressive, mostrando che il modello codifica e conserva i valori intermedi.
Gli autori osservano che ICoT organizza l'attenzione in percorsi temporali distinti: strati iniziali calcolano e memorizzano prodotti di coppie di cifre, mentre strati successivi richiamano quei valori per formare la risposta finale. Hanno anche notato rappresentazioni delle cifre in basi simili a quelle di Fourier e l'emergere spontaneo di un'operazione geometrica analoga alla somma di Minkowski.
Per testare un intervento semplice, i ricercatori hanno aggiunto un obiettivo che insegna a tracciare le somme progressive ad ogni passo; ciò ha portato un modello a 2 livelli al 99% di accuratezza senza supervisione esplicita di chain-of-thought. Lo studio sottolinea che non basta aumentare dati o parametri: indicazioni architetturali e obiettivi mirati possono abilitare il ragionamento multi-step. "Poiché l'AI viene sempre più integrata nei processi decisionali critici, è essenziale comprenderne i modi peculiari di apprendere e pensare", afferma Tan.
Fonte: University of Chicago
Parole difficili
- dipendenza — relazione in cui un elemento dipende da un altrodipendenze
- prodotto — risultato intermedio di una moltiplicazioneprodotti
- somma — totale ottenuto aggiungendo più numerisomme
- ottimo — soluzione migliore in un'area limitataottimi
- stato — condizione interna non visibile del modellostati
- attenzione — meccanismo che pesa informazioni importanti
- supervisione — controllo o guida diretta durante l'apprendimento
Suggerimento: passa il mouse o tocca le parole evidenziate nell’articolo per vedere definizioni rapide mentre leggi o ascolti.
Domande di discussione
- Perché, secondo l'articolo, non basta aumentare solo i dati o i parametri per abilitare il ragionamento multi-step? Spiega con parole tue.
- In che modo obiettivi mirati come tracciare le somme progressive possono aiutare altri compiti che richiedono più passaggi? Fai un esempio concreto.
- Quali rischi o benefici immagini quando AI che ragiona in modo «peculiare» viene usata in processi decisionali critici? Argomenta la tua risposta.
Articoli correlati
Un modello fisico per immagini di risonanza magnetica più nitide
Ricercatori della Rice University e dell'Oak Ridge National Laboratory hanno sviluppato un nuovo quadro fisico che collega il moto molecolare ai segnali MRI e migliora la descrizione del rilassamento NMR nei liquidi.
