Un gruppo guidato da Xiaoyan Bai e Chenhao Tan dell'University of Chicago, con collaboratori del MIT, Harvard, University of Waterloo e Google DeepMind, ha analizzato perché i modelli linguistici non riescono a moltiplicare numeri a quattro cifre. Il problema principale sono le dipendenze a lungo raggio: i modelli devono mantenere prodotti parziali e somme progressive per completare i calcoli multi-step.
Con la messa a punto standard, modelli con 2–12 livelli hanno raggiunto meno dell'1% di accuratezza. Al contrario, il modello addestrato con Implicit Chain of Thought (ICoT) ha ottenuto il 100% di accuratezza. Analizzando gli stati interni, i ricercatori hanno potuto decodificare le somme progressive negli stati nascosti del modello ICoT, prova che memorizzava i valori intermedi.
Inoltre, aggiungere un obiettivo di addestramento che insegna a tracciare le somme progressive ha portato un modello a 2 livelli al 99% di accuratezza, senza supervisione esplicita di chain-of-thought. Lo studio conclude che obiettivi mirati e segnali architetturali possono abilitare il ragionamento multi-step.
Parole difficili
- dipendenza — relazione che richiede informazioni distanti nel testodipendenze
- prodotto — risultato della moltiplicazione tra numeriprodotti
- somma — totale ottenuto aggiungendo numeri uno dopo l'altrosomme
- messa a punto — processo di migliorare o adattare un modello
- accuratezza — percentuale di risposte corrette del modello
- obiettivo — scopo o risultato che il modello deve raggiungereobiettivo di addestramento
Suggerimento: passa il mouse o tocca le parole evidenziate nell’articolo per vedere definizioni rapide mentre leggi o ascolti.
Domande di discussione
- Perché è importante che un modello memorizzi valori intermedi nei calcoli a più passaggi? Spiega brevemente.
- Credi che obiettivi mirati e segnali architetturali possano migliorare altri compiti oltre la matematica? Perché sì o no?
Articoli correlati
Punto di svolta meccanico nella fibrosi
Scienziati di Washington University in St. Louis e Tsinghua University hanno scoperto un 'punto di svolta' meccanico che spiega perché la fibrosi progredisce a salti. Il lavoro è pubblicato su Proceedings of the National Academy of Sciences.
Antiossidanti in eccesso: possibili rischi per lo sperma e i figli
Uno studio su modelli murini trova che dosi elevate di antiossidanti possono danneggiare il DNA spermatico e provocare cambiamenti nel cranio e nel volto dei figli. Gli autori consigliano cautela con integratori ad alta dose.
Due studi sul raggruppamento degli studenti che apprendono l'inglese
Due studi valutano se mettere insieme gli studenti che apprendono l'inglese nelle stesse classi migliori i risultati. Uno trova effetti negativi per diploma e college; l'altro, nelle elementari, mostra risultati misti.
Scimpanzé di Ngogo: più nascite dopo l'espansione territoriale
Uno studio su una comunità di scimpanzé a Ngogo, Uganda, mostra che dopo aver ucciso vicini e ampliato il territorio sono aumentate le nascite e la sopravvivenza degli infanti. I dati confrontano tre anni prima e tre anni dopo l’espansione.
