Un gruppo guidato da Xiaoyan Bai e Chenhao Tan dell'University of Chicago, con collaboratori del MIT, Harvard, University of Waterloo e Google DeepMind, ha analizzato perché i modelli linguistici non riescono a moltiplicare numeri a quattro cifre. Il problema principale sono le dipendenze a lungo raggio: i modelli devono mantenere prodotti parziali e somme progressive per completare i calcoli multi-step.
Con la messa a punto standard, modelli con 2–12 livelli hanno raggiunto meno dell'1% di accuratezza. Al contrario, il modello addestrato con Implicit Chain of Thought (ICoT) ha ottenuto il 100% di accuratezza. Analizzando gli stati interni, i ricercatori hanno potuto decodificare le somme progressive negli stati nascosti del modello ICoT, prova che memorizzava i valori intermedi.
Inoltre, aggiungere un obiettivo di addestramento che insegna a tracciare le somme progressive ha portato un modello a 2 livelli al 99% di accuratezza, senza supervisione esplicita di chain-of-thought. Lo studio conclude che obiettivi mirati e segnali architetturali possono abilitare il ragionamento multi-step.
Parole difficili
- dipendenza — relazione che richiede informazioni distanti nel testodipendenze
- prodotto — risultato della moltiplicazione tra numeriprodotti
- somma — totale ottenuto aggiungendo numeri uno dopo l'altrosomme
- messa a punto — processo di migliorare o adattare un modello
- accuratezza — percentuale di risposte corrette del modello
- obiettivo — scopo o risultato che il modello deve raggiungereobiettivo di addestramento
Suggerimento: passa il mouse o tocca le parole evidenziate nell’articolo per vedere definizioni rapide mentre leggi o ascolti.
Domande di discussione
- Perché è importante che un modello memorizzi valori intermedi nei calcoli a più passaggi? Spiega brevemente.
- Credi che obiettivi mirati e segnali architetturali possano migliorare altri compiti oltre la matematica? Perché sì o no?
Articoli correlati
AI e foto di cittadini identificano Anopheles stephensi a Madagascar
Ricercatori hanno usato l'intelligenza artificiale e foto inviate da cittadini per identificare quello che ritengono sia il primo Anopheles stephensi a Madagascar. L'OMS avverte che questa specie rappresenta una minaccia per il controllo della malaria in Africa.
Bambini in Camerun imparano programmazione e robotica
Durante le vacanze estive molte famiglie in Camerun iscrivono i figli a corsi di programmazione, robotica e intelligenza artificiale. I campi estivi includono dimostrazioni, progetti pratici e avviano club tecnologici nelle scuole.