Nova esploro, publikigita en Nature Neuroscience, troviĝas kontraŭ la simpla nocio, ke la homa cerbo antaŭvidas lingvon laŭ sama principo kiel grandaj lingvaj modeloj. La aŭtoroj montras, ke antaŭdiroj okazas surbaze de gramatike organizitaj pecetoj — konstituentoj — kaj ne simple laŭ la probableco de la sekva vorto. Kunaŭtoro David Poeppel klarigas la distingon inter LLM-celoj kaj cerbaj procesoj en antaŭdiro.
La teamo faris plurajn eksperimentojn kun parolantoj de mandarena ĉina kaj registris cerban aktivecon per magnetoencefalografio (MEG). Krome okazis Cloze-testoj, en kiuj partoprenantoj plenigis forigitajn vortojn. Por distingi vortarajn trajtojn, esploristoj uzis grandajn lingvajn modelojn por kalkuli entropion — se kunteksto permesas multajn eblajn vortojn — kaj surprizon — kiun vorto estas neatendita en iu kunteksto. Ekzemple, la vorto "kato" estas pli surpriza post "Mi sidis sur" ol post "Mi vidis".
Komparoj inter cerbaj respondoj kaj LLM-bazitaj antaŭdiroj montris ke, se la cerbo funkcius kiel LLM, korelacioj estus egale altaj por ĉiuj vortoj. Anstataŭe, la cerbo reagis alimaniere laŭ la vorto en la gramatika strukturo, montrante sentemon al konstituentoj. La studo konkludas, ke homa antaŭvido estas modulata per gramatike grupigitaj pecetoj, kaj tio levas novajn demandojn pri la rilato inter cerbaj lingvoprocesoj kaj komputaj modeloj.
- Ĉefaj metodoj: MEG, Cloze-testoj kaj LLM-komputadoj
- Priskribitaj kvantoj: entropio kaj surprizo
- Lingvoj esploritaj: mandarena ĉina kaj angla datumoj
Malfacilaj vortoj
- konstituento — gramatike organizita lingva peceto aŭ grupokonstituentoj
- entropio — mezuro de eblecoj en lingva kuntekstoentropion
- surprizo — grado kiun vorto estas neatendita en kuntekstosurprizon
- magnetoencefalografio — tekniko por mezuri cerban aktivecon per kampoj
- cloze-testo — testo en kiu partoprenanto plenigas forigitan vortonCloze-testoj
- korelacio — statistika rilato inter du mezuroj aŭ signalojkorelacioj
Konsilo: ŝovu la musmontrilon, fokusu aŭ tuŝu la reliefigitajn vortojn en la artikolo por vidi rapidajn difinojn dum legado aŭ aŭskultado.
Diskutaj demandoj
- Kiel la trovo ke cerbaj antaŭdiroj dependas de konstituentoj povus influi la komprenon de LLM-aranĝoj?
- Kio laŭ vi estas fortaj kaj malfortaj flankoj uzi MEG kaj Cloze-testojn por studi lingvajn antaŭdirojn?
- Kial utilas esplori malsamajn lingvojn, kiel mandarena ĉina kaj angla, kiam oni studas cerbajn lingvoprocesojn?
Rilataj artikoloj
Molekulaj tempigiloj kaj la rolo de la talamo en memoro
Nova esplorado montras, ke serio de molekulaj tempigiloj determinas ĉu mallongaj impresoj fariĝas longdaŭraj memoroj. Esploristoj ĉe Rockefeller University trovis, ke la talamo ludas centran rolon en movado de memoroj al longdaŭra stokado.
