Voorspellende tekst op telefoons en de volgende-woord-voorspellingen van grote taalmodellen zijn belangrijke functies van modern schrijven. Onderzoekers onderzochten of het menselijk brein op een vergelijkbare manier woorden voorspelt. De studie is gepubliceerd in Nature Neuroscience en toont andere mechanismen in het brein dan in veel AI-modellen.
De onderzoekers deden meerdere experimenten met moedertaalsprekers van het Mandarijn en maten hersenactiviteit met magneto-encefalografie (MEG). Deelnemers vulden ook Cloze-tests in, waarbij woorden uit teksten werden verwijderd. Daarnaast analyseerden de wetenschappers extra hersengegevens van proefpersonen die met het Engels werden geconfronteerd om te zien of de bevindingen taalonafhankelijk zijn.
Om voorspelbaarheid te kwantificeren gebruikten zij LLM's en de grootheden entropie en surprisal. Hoge entropie betekent veel mogelijke volgende woorden; hoge surprisal betekent dat een woord onverwacht is. De hersenreacties varieerden met de positie van een woord binnen de grammaticale structuur, wat wijst op gevoeligheid voor constituenten in menselijke voorspelling.
Moeilijke woorden
- voorspellen — verwachten wat er later komtvoorspelt
- magneto-encefalografie — techniek om elektrische hersenactiviteit te meten
- cloze-test — test waarbij woorden uit een tekst ontbrekenCloze-tests
- entropie — maat voor hoeveel mogelijke volgende woorden
- surprisal — maat voor hoe onverwacht een woord is
- constituent — deel van een grammaticale structuur of zinconstituenten
- taalonafhankelijk — geldt voor meerdere talen, niet slechts één
- hersenactiviteit — elektrische of magnetische signalen in de hersenen
Tip: beweeg de muisaanwijzer over gemarkeerde woorden in het artikel, of tik erop om snelle definities te zien terwijl je leest of luistert.
Discussievragen
- Denk je dat telefoons en grote taalmodellen woorden op dezelfde manier voorspellen als mensen? Waarom (kort)?
- Welke voordelen heeft het combineren van Cloze-tests en MEG bij onderzoek naar taal volgens jou?
- Waarom is het belangrijk of bevindingen taalonafhankelijk zijn of niet?
Gerelateerde artikelen
Nieuwe methode voor scherpere MRI-scans
Onderzoekers van Rice University en Oak Ridge National Laboratory publiceerden in The Journal of Chemical Physics een methode die moleculaire bewegingen koppelt aan signalen van klinische MRI-apparaten. De code is open source en de aanpak heeft toepassingen buiten de geneeskunde.
