Un gruppo guidato da Xiaoyan Bai e Chenhao Tan dell'University of Chicago, con collaboratori del MIT, Harvard, University of Waterloo e Google DeepMind, ha analizzato perché i modelli linguistici non riescono a moltiplicare numeri a quattro cifre. Il problema principale sono le dipendenze a lungo raggio: i modelli devono mantenere prodotti parziali e somme progressive per completare i calcoli multi-step.
Con la messa a punto standard, modelli con 2–12 livelli hanno raggiunto meno dell'1% di accuratezza. Al contrario, il modello addestrato con Implicit Chain of Thought (ICoT) ha ottenuto il 100% di accuratezza. Analizzando gli stati interni, i ricercatori hanno potuto decodificare le somme progressive negli stati nascosti del modello ICoT, prova che memorizzava i valori intermedi.
Inoltre, aggiungere un obiettivo di addestramento che insegna a tracciare le somme progressive ha portato un modello a 2 livelli al 99% di accuratezza, senza supervisione esplicita di chain-of-thought. Lo studio conclude che obiettivi mirati e segnali architetturali possono abilitare il ragionamento multi-step.
Parole difficili
- dipendenza — relazione che richiede informazioni distanti nel testodipendenze
- prodotto — risultato della moltiplicazione tra numeriprodotti
- somma — totale ottenuto aggiungendo numeri uno dopo l'altrosomme
- messa a punto — processo di migliorare o adattare un modello
- accuratezza — percentuale di risposte corrette del modello
- obiettivo — scopo o risultato che il modello deve raggiungereobiettivo di addestramento
Suggerimento: passa il mouse o tocca le parole evidenziate nell’articolo per vedere definizioni rapide mentre leggi o ascolti.
Domande di discussione
- Perché è importante che un modello memorizzi valori intermedi nei calcoli a più passaggi? Spiega brevemente.
- Credi che obiettivi mirati e segnali architetturali possano migliorare altri compiti oltre la matematica? Perché sì o no?
Articoli correlati
Archivi cittadini salvano tradizioni orali del Sud Asia
Archivisti cittadini in Sud Asia registrano canti, storie, indovinelli e conoscenze tradizionali per conservarle. Il progetto “Enhancing Indic oral culture on Wikimedia projects” aiuta i parlanti nativi a caricare e trascrivere i materiali su piattaforme Wikimedia.
Segnali dei ciclisti: fraintendimenti e rischi
Una ricerca della Rice University mostra che molti automobilisti si affidano ai segnali con il braccio dei ciclisti. Fraintendimenti e distrazione possono aumentare il rischio di incidenti; gli autori chiedono più educazione e segnali chiari.
Dire di essere autistico cambia i consigli dell'IA
Uno studio della Virginia Tech, presentato alla conferenza CHI, mostra che rivelare l'autismo modifica i suggerimenti dei grandi modelli linguistici, spesso seguendo stereotipi comuni. I ricercatori chiedono maggiore trasparenza nei sistemi IA.