Una ricerca pubblicata su Nature Neuroscience confronta la previsione del linguaggio nel cervello con le previsioni dei grandi modelli linguistici, detti LLM. Gli autori, tra cui David Poeppel, spiegano che il cervello anticipa le parole raggruppando le parole in blocchi grammaticali, o costituenti, anziché prevedere solo la singola parola successiva.
Lo studio ha usato magnetoencefalografia (MEG) e test Cloze con parlanti di mandarino, e ha analizzato dati addizionali su pazienti esposti all'inglese. I ricercatori hanno calcolato l'entropia e il surprisal con gli LLM: l'entropia indica quante parole sono possibili nel contesto, il surprisal indica quanto una parola è inattesa.
Se il cervello funzionasse come un LLM, le correlazioni con le previsioni dei modelli sarebbero uniformi. Invece, il cervello reagisce diversamente a seconda della posizione della parola nella struttura grammaticale, mostrando sensibilità ai costituenti. I risultati sollevano nuove domande sul rapporto tra processi cerebrali e modelli computazionali.
Parole difficili
- costituente — gruppo di parole con funzione grammaticalecostituenti
- entropia — misura di quante parole possibili
- surprisal — misura di quanto una parola è inattesa
- magnetoencefalografia — tecnica che misura l'attività magnetica cerebrale
- cloze — test in cui si completa un testo con parole
- correlazione — relazione statistica tra due misure o piùcorrelazioni
Suggerimento: passa il mouse o tocca le parole evidenziate nell’articolo per vedere definizioni rapide mentre leggi o ascolti.
Domande di discussione
- Pensi che i modelli linguistici dovrebbero imparare a usare i costituenti come il cervello? Perché?
- Come potrebbe influire la differenza tra cervello e LLM sulla traduzione automatica o sull'insegnamento delle lingue?
- Hai mai fatto un test Cloze o un esercizio di completamento? Racconta la tua esperienza.
Articoli correlati
Strumento riduce l'ostilità nel feed di X
Ricercatori hanno creato un'estensione che usa un grande modello linguistico per riordinare il feed di X, declassando contenuti antidemocratici. In test con volontari durante le elezioni del 2024, l'atteggiamento verso l'altro partito è migliorato.
Perché i feed dei social mostrano eventi rari ed eccitanti
Ricercatori della Virginia Tech spiegano come la «diffusione del bias della rarità» faccia apparire comuni gli eventi insoliti nei feed. Hanno fatto esperimenti e simulazioni e dicono che gli utenti contribuiscono a questa distorsione.
