Una nuova ricerca su Nature Neuroscience suggerisce che, quando anticipa parole, il cervello usa unità linguistiche più ampie dei singoli termini: i costituenti grammaticali. «Mentre i modelli linguistici di grandi dimensioni sono addestrati e ottimizzati per prevedere la parola successiva, il cervello umano fa previsioni raggruppando grammaticalmente le parole in frasi», spiega il coautore David Poeppel.
Gli autori hanno condotto diversi esperimenti con parlanti di mandarino e hanno registrato l'attività cerebrale con magnetoencefalografia (MEG). Hanno anche impiegato test di Cloze, in cui parole vengono rimosse da brani e i partecipanti devono completare gli spazi vuoti, e hanno analizzato dati cerebrali aggiuntivi di pazienti esposti all'inglese per verificare la validità attraverso le lingue.
I ricercatori hanno utilizzato grandi modelli linguistici per misurare la prevedibilità calcolando entropia e surprisal. L'entropia indica quante parole diverse sono possibili in un dato contesto (per esempio «Ho visto un» offre più possibilità), mentre il surprisal misura quanto una parola è inattesa in quel contesto (la parola «gatto» può essere più inattesa dopo «Mi sono seduto su un»).
Confrontando risposte cerebrali e previsioni dei modelli per le stesse frasi, gli scienziati hanno osservato che il cervello non si comporta come un LLM: la correlazione varia in base alla posizione della parola nella struttura grammaticale. Lo studio conclude che la previsione umana è modulata da blocchi grammaticali, non solo dalla probabilità della parola successiva, e apre nuove questioni su come processi cerebrali e modelli computazionali siano collegati.
Parole difficili
- costituente — parte di una struttura linguistica o frasecostituenti
- magnetoencefalografia — tecnica che misura l'attività magnetica cerebrale
- entropia — numero di alternative possibili in un contesto
- surprisal — misura quanto una parola è inattesa
- prevedibilità — facilità di indovinare la parola seguente
- modulare — regolare o influenzare un processomodulata
- correlazione — relazione statistica tra due misure
Suggerimento: passa il mouse o tocca le parole evidenziate nell’articolo per vedere definizioni rapide mentre leggi o ascolti.
Domande di discussione
- Quali vantaggi pratici potrebbe avere il fatto che il cervello usi blocchi grammaticali per prevedere parole?
- In che modo i risultati potrebbero influenzare lo sviluppo di modelli linguistici computazionali?
- Quali altri esperimenti suggeriresti per verificare questi risultati in lingue diverse?
Articoli correlati
Trapianto cellulare aiuta il cuore dopo una lesione del midollo spinale
Ricercatori hanno trapiantato cellule nervose immature in un modello di ratto con lesione del midollo spinale. Dopo il trapianto è migliorato il controllo nervoso della circolazione: la pressione a riposo è più stabile e la frequenza cardiaca è diminuita.
Nuovo meccanismo: i neuroni e l'attivazione del dolore
Scienziati hanno scoperto che neuroni rilasciano un enzima chiamato VLK che modifica proteine esterne e controlla la segnalazione del dolore. Esperimenti su topi mostrano che togliere o aggiungere VLK cambia le risposte al dolore.
Cattura del carbonio per ridurre le emissioni dei data center USA
Uno studio su Energy & Fuels mostra che la crescita dei data center negli Stati Uniti può aumentare molto le emissioni. La ricerca indica che la cattura e lo stoccaggio del carbonio potrebbero ridurre gran parte di queste emissioni.
