Voorspellende tekst op telefoons en de volgende-woord-voorspellingen van grote taalmodellen zijn belangrijke functies van modern schrijven. Onderzoekers onderzochten of het menselijk brein op een vergelijkbare manier woorden voorspelt. De studie is gepubliceerd in Nature Neuroscience en toont andere mechanismen in het brein dan in veel AI-modellen.
De onderzoekers deden meerdere experimenten met moedertaalsprekers van het Mandarijn en maten hersenactiviteit met magneto-encefalografie (MEG). Deelnemers vulden ook Cloze-tests in, waarbij woorden uit teksten werden verwijderd. Daarnaast analyseerden de wetenschappers extra hersengegevens van proefpersonen die met het Engels werden geconfronteerd om te zien of de bevindingen taalonafhankelijk zijn.
Om voorspelbaarheid te kwantificeren gebruikten zij LLM's en de grootheden entropie en surprisal. Hoge entropie betekent veel mogelijke volgende woorden; hoge surprisal betekent dat een woord onverwacht is. De hersenreacties varieerden met de positie van een woord binnen de grammaticale structuur, wat wijst op gevoeligheid voor constituenten in menselijke voorspelling.
Moeilijke woorden
- voorspellen — verwachten wat er later komtvoorspelt
- magneto-encefalografie — techniek om elektrische hersenactiviteit te meten
- cloze-test — test waarbij woorden uit een tekst ontbrekenCloze-tests
- entropie — maat voor hoeveel mogelijke volgende woorden
- surprisal — maat voor hoe onverwacht een woord is
- constituent — deel van een grammaticale structuur of zinconstituenten
- taalonafhankelijk — geldt voor meerdere talen, niet slechts één
- hersenactiviteit — elektrische of magnetische signalen in de hersenen
Tip: beweeg de muisaanwijzer over gemarkeerde woorden in het artikel, of tik erop om snelle definities te zien terwijl je leest of luistert.
Discussievragen
- Denk je dat telefoons en grote taalmodellen woorden op dezelfde manier voorspellen als mensen? Waarom (kort)?
- Welke voordelen heeft het combineren van Cloze-tests en MEG bij onderzoek naar taal volgens jou?
- Waarom is het belangrijk of bevindingen taalonafhankelijk zijn of niet?
Gerelateerde artikelen
Soedan zet AI in om tekort aan zorg te helpen
Na bijna twee jaar oorlog staat de gezondheidszorg in Soedan onder zware druk. Een hoge functionaris zegt dat kunstmatige intelligentie kan helpen waar dokters en ziekenhuizen wegvallen, maar er is dringend meer personeel, medicijnen en apparatuur nodig.
Muizenvirus veroorzaakt Parkinson-achtige schade bij proefdieren
Een studie van Texas A&M laat zien dat een veelvoorkomend muizenvirus Parkinson-achtige hersenschade en bewegingsproblemen kan veroorzaken in diermodellen. Onderzoekers gebruikten een niet-toxisch model met TMEV en willen nu biomarkers en immuunreacties onderzoeken.
Nieuwe voorbehandeling maakt rioolslib tot hernieuwbaar aardgas
Een pilotstudie toonde dat een nieuwe voorbehandeling van rioolslib veel meer hernieuwbaar aardgas produceert en de verwerkingskosten sterk verlaagt. De methode breekt lange moleculen af en wordt opgeschaald met patenten en partners.
Aandacht wisselt in een snel ritme
Onderzoekers vinden dat menselijke aandacht in een regelmatig ritme verschuift, ongeveer zeven tot tien keer per seconde. Dit helpt verklaren waarom meldingen vaak afleiden en waarom concentratie in het dagelijks leven onbetrouwbaar kan aanvoelen.