Una ricerca pubblicata su Nature Neuroscience confronta la previsione del linguaggio nel cervello con le previsioni dei grandi modelli linguistici, detti LLM. Gli autori, tra cui David Poeppel, spiegano che il cervello anticipa le parole raggruppando le parole in blocchi grammaticali, o costituenti, anziché prevedere solo la singola parola successiva.
Lo studio ha usato magnetoencefalografia (MEG) e test Cloze con parlanti di mandarino, e ha analizzato dati addizionali su pazienti esposti all'inglese. I ricercatori hanno calcolato l'entropia e il surprisal con gli LLM: l'entropia indica quante parole sono possibili nel contesto, il surprisal indica quanto una parola è inattesa.
Se il cervello funzionasse come un LLM, le correlazioni con le previsioni dei modelli sarebbero uniformi. Invece, il cervello reagisce diversamente a seconda della posizione della parola nella struttura grammaticale, mostrando sensibilità ai costituenti. I risultati sollevano nuove domande sul rapporto tra processi cerebrali e modelli computazionali.
Parole difficili
- costituente — gruppo di parole con funzione grammaticalecostituenti
- entropia — misura di quante parole possibili
- surprisal — misura di quanto una parola è inattesa
- magnetoencefalografia — tecnica che misura l'attività magnetica cerebrale
- cloze — test in cui si completa un testo con parole
- correlazione — relazione statistica tra due misure o piùcorrelazioni
Suggerimento: passa il mouse o tocca le parole evidenziate nell’articolo per vedere definizioni rapide mentre leggi o ascolti.
Domande di discussione
- Pensi che i modelli linguistici dovrebbero imparare a usare i costituenti come il cervello? Perché?
- Come potrebbe influire la differenza tra cervello e LLM sulla traduzione automatica o sull'insegnamento delle lingue?
- Hai mai fatto un test Cloze o un esercizio di completamento? Racconta la tua esperienza.
Articoli correlati
Giochi al computer migliorano il cervello dopo una lesione
Una ricerca trova che persone con lesioni cerebrali traumatiche possono migliorare la struttura del cervello e le capacità cognitive giocando a esercizi cognitivi al computer. Lo studio ha rilevato cambiamenti nella neuroplasticità e miglioramenti nei test di velocità, attenzione e memoria.
Neuroni nuovi scavano tunnel nel cervello degli uccelli
Uno studio della Boston University mostra che nei fringuelli zebra i nuovi neuroni scavano tunnel attraverso il tessuto cerebrale maturo. I risultati potrebbero aiutare la ricerca su riparazione cerebrale e possibili terapie umane.
La memoria del parlato dipende dalle aree sensoriali
Uno studio del Yale University Child Study Center mostra che la conservazione dei movimenti del parlato appresi dipende dalle aree sensoriali del cervello. Interrompere la corteccia uditiva o somatosensoriale riduce la ritenzione, mentre la corteccia motoria no.
