Voorspellende tekst op telefoons en de volgende-woord-voorspellingen van grote taalmodellen zijn belangrijke functies van modern schrijven. Onderzoekers onderzochten of het menselijk brein op een vergelijkbare manier woorden voorspelt. De studie is gepubliceerd in Nature Neuroscience en toont andere mechanismen in het brein dan in veel AI-modellen.
De onderzoekers deden meerdere experimenten met moedertaalsprekers van het Mandarijn en maten hersenactiviteit met magneto-encefalografie (MEG). Deelnemers vulden ook Cloze-tests in, waarbij woorden uit teksten werden verwijderd. Daarnaast analyseerden de wetenschappers extra hersengegevens van proefpersonen die met het Engels werden geconfronteerd om te zien of de bevindingen taalonafhankelijk zijn.
Om voorspelbaarheid te kwantificeren gebruikten zij LLM's en de grootheden entropie en surprisal. Hoge entropie betekent veel mogelijke volgende woorden; hoge surprisal betekent dat een woord onverwacht is. De hersenreacties varieerden met de positie van een woord binnen de grammaticale structuur, wat wijst op gevoeligheid voor constituenten in menselijke voorspelling.
Moeilijke woorden
- voorspellen — verwachten wat er later komtvoorspelt
- magneto-encefalografie — techniek om elektrische hersenactiviteit te meten
- cloze-test — test waarbij woorden uit een tekst ontbrekenCloze-tests
- entropie — maat voor hoeveel mogelijke volgende woorden
- surprisal — maat voor hoe onverwacht een woord is
- constituent — deel van een grammaticale structuur of zinconstituenten
- taalonafhankelijk — geldt voor meerdere talen, niet slechts één
- hersenactiviteit — elektrische of magnetische signalen in de hersenen
Tip: beweeg de muisaanwijzer over gemarkeerde woorden in het artikel, of tik erop om snelle definities te zien terwijl je leest of luistert.
Discussievragen
- Denk je dat telefoons en grote taalmodellen woorden op dezelfde manier voorspellen als mensen? Waarom (kort)?
- Welke voordelen heeft het combineren van Cloze-tests en MEG bij onderzoek naar taal volgens jou?
- Waarom is het belangrijk of bevindingen taalonafhankelijk zijn of niet?
Gerelateerde artikelen
Kleine vertragingen kunnen misinformatie verminderen
Onderzoekers van de University of Copenhagen stellen voor delen iets moeilijker te maken. Een korte pauze en een kort leerelement, zoals een pop-upquiz, vertragen verspreiding en kunnen de kwaliteit van gedeelde berichten verbeteren.
Rapport: samenwerking grote bedrijven maakt hulpmiddelen duur voor boeren
Een rapport van IPES-Food waarschuwt dat nauwe banden tussen grote landbouw- en technologiebedrijven moderne digitale hulpmiddelen onbetaalbaar maken voor kleinschalige boeren. Het noemt zorgen over datacontrole, lock-ins en commercieel gebruik van traditionele kennis.
Hulpmiddel verlaagt partijdige vijandigheid in X-feed
Onderzoekers maakten een webextensie die vijandige politieke berichten in iemands X-feed lager of hoger zet zonder berichten te verwijderen of hulp van het platform. Een experiment met vrijwilligers liet zien dat minder negatieve content mensen warmer tegenover de andere partij maakte.
Stijgende stroomvraag door datacenters kan prijzen en uitstoot verhogen
Onderzoek waarschuwt dat groei van datacenters en cryptomijnbouw in de VS de elektriciteitsprijzen en de CO2-uitstoot tegen 2030 kan doen toenemen. De studie modelleert het elektriciteitssysteem en vergelijkt scenario’s met en zonder deze vraaggroei.