Un gruppo guidato da Xiaoyan Bai e Chenhao Tan dell'University of Chicago, con collaboratori del MIT, Harvard, University of Waterloo e Google DeepMind, ha analizzato perché i modelli linguistici non riescono a moltiplicare numeri a quattro cifre. Il problema principale sono le dipendenze a lungo raggio: i modelli devono mantenere prodotti parziali e somme progressive per completare i calcoli multi-step.
Con la messa a punto standard, modelli con 2–12 livelli hanno raggiunto meno dell'1% di accuratezza. Al contrario, il modello addestrato con Implicit Chain of Thought (ICoT) ha ottenuto il 100% di accuratezza. Analizzando gli stati interni, i ricercatori hanno potuto decodificare le somme progressive negli stati nascosti del modello ICoT, prova che memorizzava i valori intermedi.
Inoltre, aggiungere un obiettivo di addestramento che insegna a tracciare le somme progressive ha portato un modello a 2 livelli al 99% di accuratezza, senza supervisione esplicita di chain-of-thought. Lo studio conclude che obiettivi mirati e segnali architetturali possono abilitare il ragionamento multi-step.
Parole difficili
- dipendenza — relazione che richiede informazioni distanti nel testodipendenze
- prodotto — risultato della moltiplicazione tra numeriprodotti
- somma — totale ottenuto aggiungendo numeri uno dopo l'altrosomme
- messa a punto — processo di migliorare o adattare un modello
- accuratezza — percentuale di risposte corrette del modello
- obiettivo — scopo o risultato che il modello deve raggiungereobiettivo di addestramento
Suggerimento: passa il mouse o tocca le parole evidenziate nell’articolo per vedere definizioni rapide mentre leggi o ascolti.
Domande di discussione
- Perché è importante che un modello memorizzi valori intermedi nei calcoli a più passaggi? Spiega brevemente.
- Credi che obiettivi mirati e segnali architetturali possano migliorare altri compiti oltre la matematica? Perché sì o no?
Articoli correlati
Virtual Vet, un videogioco per imparare scienze
Ricercatori dell'University of Georgia hanno creato Virtual Vet per aiutare gli alunni delle scuole elementari a esercitare anatomia, salute e ragionamento. Lo studio mostra che chi ha giocato ha ottenuto punteggi più alti rispetto ad attività tradizionali.
L'olio di soia e l'aumento di peso nei topi
Uno studio della University of California, Riverside collega l'olio di soia all'aumento di peso nei topi e identifica ruoli dell'HNF4α e delle ossilipine derivate dall'acido linoleico. I ricercatori indagano anche altri oli ricchi di linoleico.
Bambini in Camerun imparano programmazione e robotica
Durante le vacanze estive molte famiglie in Camerun iscrivono i figli a corsi di programmazione, robotica e intelligenza artificiale. I campi estivi includono dimostrazioni, progetti pratici e avviano club tecnologici nelle scuole.
Scimpanzé di Ngogo: più nascite dopo l'espansione territoriale
Uno studio su una comunità di scimpanzé a Ngogo, Uganda, mostra che dopo aver ucciso vicini e ampliato il territorio sono aumentate le nascite e la sopravvivenza degli infanti. I dati confrontano tre anni prima e tre anni dopo l’espansione.
