Ricercatori guidati da Xiaoyan Bai e Chenhao Tan all'University of Chicago, con team del MIT, Harvard, University of Waterloo e Google DeepMind, hanno studiato perché i modelli di linguaggio moderni falliscono nel moltiplicare numeri a quattro cifre. Il lavoro si è concentrato sulle dipendenze a lungo raggio: per risolvere il compito occorre conservare prodotti parziali e somme progressive e richiamarli nei passaggi successivi.
Con la messa a punto standard, modelli con 2–12 livelli hanno ottenuto meno dell'1% di accuratezza, suggerendo che rimangono intrappolati in ottimi locali e apprendono solo pattern superficiali. Il modello addestrato con Implicit Chain of Thought (ICoT) ha invece raggiunto il 100%: l'analisi degli stati nascosti ha permesso di decodificare le somme progressive, mostrando che il modello codifica e conserva i valori intermedi.
Gli autori osservano che ICoT organizza l'attenzione in percorsi temporali distinti: strati iniziali calcolano e memorizzano prodotti di coppie di cifre, mentre strati successivi richiamano quei valori per formare la risposta finale. Hanno anche notato rappresentazioni delle cifre in basi simili a quelle di Fourier e l'emergere spontaneo di un'operazione geometrica analoga alla somma di Minkowski.
Per testare un intervento semplice, i ricercatori hanno aggiunto un obiettivo che insegna a tracciare le somme progressive ad ogni passo; ciò ha portato un modello a 2 livelli al 99% di accuratezza senza supervisione esplicita di chain-of-thought. Lo studio sottolinea che non basta aumentare dati o parametri: indicazioni architetturali e obiettivi mirati possono abilitare il ragionamento multi-step. "Poiché l'AI viene sempre più integrata nei processi decisionali critici, è essenziale comprenderne i modi peculiari di apprendere e pensare", afferma Tan.
Fonte: University of Chicago
Parole difficili
- dipendenza — relazione in cui un elemento dipende da un altrodipendenze
- prodotto — risultato intermedio di una moltiplicazioneprodotti
- somma — totale ottenuto aggiungendo più numerisomme
- ottimo — soluzione migliore in un'area limitataottimi
- stato — condizione interna non visibile del modellostati
- attenzione — meccanismo che pesa informazioni importanti
- supervisione — controllo o guida diretta durante l'apprendimento
Suggerimento: passa il mouse o tocca le parole evidenziate nell’articolo per vedere definizioni rapide mentre leggi o ascolti.
Domande di discussione
- Perché, secondo l'articolo, non basta aumentare solo i dati o i parametri per abilitare il ragionamento multi-step? Spiega con parole tue.
- In che modo obiettivi mirati come tracciare le somme progressive possono aiutare altri compiti che richiedono più passaggi? Fai un esempio concreto.
- Quali rischi o benefici immagini quando AI che ragiona in modo «peculiare» viene usata in processi decisionali critici? Argomenta la tua risposta.
Articoli correlati
Sostituire la carne con un prodotto vegetale cambia i grassi del latte
Un piccolo studio ha mostrato che sostituire la carne di manzo con un sostituto vegetale può modificare i tipi di grassi nel latte materno in pochi giorni. I cambiamenti potrebbero influire sullo sviluppo cerebrale e sul sistema immunitario dei neonati.
