Una ricerca pubblicata su Nature Neuroscience confronta la previsione del linguaggio nel cervello con le previsioni dei grandi modelli linguistici, detti LLM. Gli autori, tra cui David Poeppel, spiegano che il cervello anticipa le parole raggruppando le parole in blocchi grammaticali, o costituenti, anziché prevedere solo la singola parola successiva.
Lo studio ha usato magnetoencefalografia (MEG) e test Cloze con parlanti di mandarino, e ha analizzato dati addizionali su pazienti esposti all'inglese. I ricercatori hanno calcolato l'entropia e il surprisal con gli LLM: l'entropia indica quante parole sono possibili nel contesto, il surprisal indica quanto una parola è inattesa.
Se il cervello funzionasse come un LLM, le correlazioni con le previsioni dei modelli sarebbero uniformi. Invece, il cervello reagisce diversamente a seconda della posizione della parola nella struttura grammaticale, mostrando sensibilità ai costituenti. I risultati sollevano nuove domande sul rapporto tra processi cerebrali e modelli computazionali.
Parole difficili
- costituente — gruppo di parole con funzione grammaticalecostituenti
- entropia — misura di quante parole possibili
- surprisal — misura di quanto una parola è inattesa
- magnetoencefalografia — tecnica che misura l'attività magnetica cerebrale
- cloze — test in cui si completa un testo con parole
- correlazione — relazione statistica tra due misure o piùcorrelazioni
Suggerimento: passa il mouse o tocca le parole evidenziate nell’articolo per vedere definizioni rapide mentre leggi o ascolti.
Domande di discussione
- Pensi che i modelli linguistici dovrebbero imparare a usare i costituenti come il cervello? Perché?
- Come potrebbe influire la differenza tra cervello e LLM sulla traduzione automatica o sull'insegnamento delle lingue?
- Hai mai fatto un test Cloze o un esercizio di completamento? Racconta la tua esperienza.
Articoli correlati
Nuovo metodo per migliorare le ecografie del seno
Ricercatori hanno sviluppato un nuovo metodo per elaborare i segnali ecografici che distingue meglio tra liquido e masse solide nel seno. Nei primi test i medici hanno identificato correttamente le masse molto più spesso rispetto alle ecografie convenzionali.
Recettore del glutammato mGlu5 è più basso nei cervelli autistici
Uno studio ha trovato una minore disponibilità del recettore mGlu5 nel cervello di adulti autistici. Ricerca con PET, MRI ed EEG suggerisce uno squilibrio tra segnali eccitatori e inibitori e apre la strada a nuovi studi.
