Un gruppo guidato da Xiaoyan Bai e Chenhao Tan dell'University of Chicago, con collaboratori del MIT, Harvard, University of Waterloo e Google DeepMind, ha analizzato perché i modelli linguistici non riescono a moltiplicare numeri a quattro cifre. Il problema principale sono le dipendenze a lungo raggio: i modelli devono mantenere prodotti parziali e somme progressive per completare i calcoli multi-step.
Con la messa a punto standard, modelli con 2–12 livelli hanno raggiunto meno dell'1% di accuratezza. Al contrario, il modello addestrato con Implicit Chain of Thought (ICoT) ha ottenuto il 100% di accuratezza. Analizzando gli stati interni, i ricercatori hanno potuto decodificare le somme progressive negli stati nascosti del modello ICoT, prova che memorizzava i valori intermedi.
Inoltre, aggiungere un obiettivo di addestramento che insegna a tracciare le somme progressive ha portato un modello a 2 livelli al 99% di accuratezza, senza supervisione esplicita di chain-of-thought. Lo studio conclude che obiettivi mirati e segnali architetturali possono abilitare il ragionamento multi-step.
Parole difficili
- dipendenza — relazione che richiede informazioni distanti nel testodipendenze
- prodotto — risultato della moltiplicazione tra numeriprodotti
- somma — totale ottenuto aggiungendo numeri uno dopo l'altrosomme
- messa a punto — processo di migliorare o adattare un modello
- accuratezza — percentuale di risposte corrette del modello
- obiettivo — scopo o risultato che il modello deve raggiungereobiettivo di addestramento
Suggerimento: passa il mouse o tocca le parole evidenziate nell’articolo per vedere definizioni rapide mentre leggi o ascolti.
Domande di discussione
- Perché è importante che un modello memorizzi valori intermedi nei calcoli a più passaggi? Spiega brevemente.
- Credi che obiettivi mirati e segnali architetturali possano migliorare altri compiti oltre la matematica? Perché sì o no?
Articoli correlati
Algoritmi che spiegano la conversione del propano in propilene
Ricercatori dell'University of Rochester hanno sviluppato algoritmi che identificano caratteristiche atomiche nella conversione del propano in propilene. Lo studio, pubblicato sul Journal of of the American Chemical Society, mostra anche effetti della fase ossidata sui catalizzatori.
AI e controlli alle frontiere negli Stati Uniti
Gruppi per i diritti denunciano l'uso crescente dell'AI nei controlli di frontiera e nell'immigrazione negli Stati Uniti. Un rapporto del 2023 sostiene che questi sistemi possono approfondire la discriminazione razziale e chiede limiti e tutele.
Case automobilistiche cinesi puntano sull'Africa per gli EV
Dazi e controlli in USA ed Europa hanno spinto le aziende cinesi di veicoli elettrici a cercare nuovi mercati. Molte ora guardano all'Africa per vendite, produzione e catene di fornitura, con progetti concreti in diversi paesi.
Intelligenza artificiale per la salute sessuale in America Latina
Gruppi in Perù e Argentina usano intelligenza artificiale per dare informazioni su salute sessuale e riproduttiva, con progetti per giovani e comunità marginalizzate. Esperti avvertono però rischi per le persone transgender e chiedono regole e dati migliori.