Veel mensen vergelijken de werking van grote taalmodellen (LLM's) met menselijke taalverwerking. Nieuw onderzoek, gepubliceerd in Nature Neuroscience, onderzoekt die vergelijking nauwkeurig en komt tot een belangrijke conclusie: het menselijke brein voorspelt komende woorden op basis van grotere, grammaticaal georganiseerde eenheden, zogenaamde constituenten, en niet uitsluitend via kansberekening van het volgende woord.
De studie omvatte meerdere experimenten met moedertaalsprekers van het Mandarijn en gebruikte magneto-encefalografie (MEG) om hersenactiviteit te registreren. Deelnemers voerden ook Cloze-tests uit, waarbij woorden uit teksten werden weggehaald en ingevuld. Verder analyseerde het team extra hersengegevens van patiënten die met het Engels werden geconfronteerd, om te onderzoeken of de bevindingen over talen heen gelden.
De onderzoekers gebruikten LLM's om woordvoorspelbaarheid te kwantificeren met entropie en surprisal. Entropie geeft aan hoeveel mogelijke volgende woorden de context toelaat; surprisal meet hoe onverwacht een woord is in die context. Bijvoorbeeld, na “Ik zag een” is de entropie hoger dan na “Ik zat op een”, en het woord “kat” heeft een hogere surprisal na “Ik zat op een”.
- Hersenreacties werden vergeleken met LLM-voorspellingen voor dezelfde zinnen.
- Als het brein werkte als een LLM, zouden correlaties overal sterk zijn.
- In plaats daarvan varieerde de respons met de positie binnen de grammatische structuur.
De auteurs concluderen dat menselijke voorspelling wordt afgestemd door grammaticaal georganiseerde brokken; LLM's tonen deze gevoeligheid voor constituentstructuur niet. Coauteur David Poeppel vat het samen: terwijl LLM's geoptimaliseerd zijn om het volgende woord te voorspellen, maakt het menselijke brein voorspellingen door woorden grammaticaal in zinnen te groeperen. De resultaten roepen nieuwe vragen op over de relatie tussen hersenprocessen en computationele modellen.
Moeilijke woorden
- constituent — grotere, grammaticaal verbonden eenheden binnen zinnenconstituenten
- magneto-encefalografie — methode om hersenactiviteit met magneten te meten
- entropie — maat voor hoeveel mogelijke volgende woorden
- surprisal — maat voor hoe onverwacht een woord is
- Cloze-test — test waarbij woorden in een tekst worden ingevuldCloze-tests
- woordvoorspelbaarheid — mate waarin volgende woorden te raden zijn
- correlatie — verband tussen twee of meer metingencorrelaties
- grote taalmodellen — computersystemen die taal voorspellen met statistiek
Tip: beweeg de muisaanwijzer over gemarkeerde woorden in het artikel, of tik erop om snelle definities te zien terwijl je leest of luistert.
Discussievragen
- Welke gevolgen kunnen deze bevindingen hebben voor het gebruik van grote taalmodellen in taalonderzoek? Geef twee mogelijke effecten.
- Hoe zou je een vervolgexperiment ontwerpen om te testen of dezelfde resultaten gelden voor een andere taal dan Mandarijn of Engels?
- Op welke manieren veranderen grammaticaal georganiseerde eenheden jouw eigen verwerking van zinnen in dagelijks taalgebruik?
Gerelateerde artikelen
Kleine vertragingen kunnen misinformatie verminderen
Onderzoekers van de University of Copenhagen stellen voor delen iets moeilijker te maken. Een korte pauze en een kort leerelement, zoals een pop-upquiz, vertragen verspreiding en kunnen de kwaliteit van gedeelde berichten verbeteren.
Rapport: samenwerking grote bedrijven maakt hulpmiddelen duur voor boeren
Een rapport van IPES-Food waarschuwt dat nauwe banden tussen grote landbouw- en technologiebedrijven moderne digitale hulpmiddelen onbetaalbaar maken voor kleinschalige boeren. Het noemt zorgen over datacontrole, lock-ins en commercieel gebruik van traditionele kennis.
Hulpmiddel verlaagt partijdige vijandigheid in X-feed
Onderzoekers maakten een webextensie die vijandige politieke berichten in iemands X-feed lager of hoger zet zonder berichten te verwijderen of hulp van het platform. Een experiment met vrijwilligers liet zien dat minder negatieve content mensen warmer tegenover de andere partij maakte.
Stijgende stroomvraag door datacenters kan prijzen en uitstoot verhogen
Onderzoek waarschuwt dat groei van datacenters en cryptomijnbouw in de VS de elektriciteitsprijzen en de CO2-uitstoot tegen 2030 kan doen toenemen. De studie modelleert het elektriciteitssysteem en vergelijkt scenario’s met en zonder deze vraaggroei.