Voorspellende tekst op telefoons en de volgende-woord-voorspellingen van grote taalmodellen zijn belangrijke functies van modern schrijven. Onderzoekers onderzochten of het menselijk brein op een vergelijkbare manier woorden voorspelt. De studie is gepubliceerd in Nature Neuroscience en toont andere mechanismen in het brein dan in veel AI-modellen.
De onderzoekers deden meerdere experimenten met moedertaalsprekers van het Mandarijn en maten hersenactiviteit met magneto-encefalografie (MEG). Deelnemers vulden ook Cloze-tests in, waarbij woorden uit teksten werden verwijderd. Daarnaast analyseerden de wetenschappers extra hersengegevens van proefpersonen die met het Engels werden geconfronteerd om te zien of de bevindingen taalonafhankelijk zijn.
Om voorspelbaarheid te kwantificeren gebruikten zij LLM's en de grootheden entropie en surprisal. Hoge entropie betekent veel mogelijke volgende woorden; hoge surprisal betekent dat een woord onverwacht is. De hersenreacties varieerden met de positie van een woord binnen de grammaticale structuur, wat wijst op gevoeligheid voor constituenten in menselijke voorspelling.
Moeilijke woorden
- voorspellen — verwachten wat er later komtvoorspelt
- magneto-encefalografie — techniek om elektrische hersenactiviteit te meten
- cloze-test — test waarbij woorden uit een tekst ontbrekenCloze-tests
- entropie — maat voor hoeveel mogelijke volgende woorden
- surprisal — maat voor hoe onverwacht een woord is
- constituent — deel van een grammaticale structuur of zinconstituenten
- taalonafhankelijk — geldt voor meerdere talen, niet slechts één
- hersenactiviteit — elektrische of magnetische signalen in de hersenen
Tip: beweeg de muisaanwijzer over gemarkeerde woorden in het artikel, of tik erop om snelle definities te zien terwijl je leest of luistert.
Discussievragen
- Denk je dat telefoons en grote taalmodellen woorden op dezelfde manier voorspellen als mensen? Waarom (kort)?
- Welke voordelen heeft het combineren van Cloze-tests en MEG bij onderzoek naar taal volgens jou?
- Waarom is het belangrijk of bevindingen taalonafhankelijk zijn of niet?
Gerelateerde artikelen
Aanraakschermen in de auto vergroten afleiding tijdens het rijden
Een simulatiestudie onderzocht hoe 12-inch aanraakschermen en een geheugentaak het rijden beïnvloeden. Multitasken verergerde stuurgedrag en verminderde precies gebruik van het scherm; vergroten van toetsen hielp niet.
Onderzoekers vinden zwakke plekken in wachtwoordmanagers
Onderzoekers van ETH Zurich onderzochten drie cloudgebaseerde wachtwoordmanagers en ontdekten meerdere aanvallen die vaak wachtwoorden konden lezen of wijzigen. Ze gaven aanbieders 90 dagen om de problemen te verhelpen en deden aanbevelingen voor betere beveiliging.
