Voorspellende tekst op telefoons en de volgende-woord-voorspellingen van grote taalmodellen zijn belangrijke functies van modern schrijven. Onderzoekers onderzochten of het menselijk brein op een vergelijkbare manier woorden voorspelt. De studie is gepubliceerd in Nature Neuroscience en toont andere mechanismen in het brein dan in veel AI-modellen.
De onderzoekers deden meerdere experimenten met moedertaalsprekers van het Mandarijn en maten hersenactiviteit met magneto-encefalografie (MEG). Deelnemers vulden ook Cloze-tests in, waarbij woorden uit teksten werden verwijderd. Daarnaast analyseerden de wetenschappers extra hersengegevens van proefpersonen die met het Engels werden geconfronteerd om te zien of de bevindingen taalonafhankelijk zijn.
Om voorspelbaarheid te kwantificeren gebruikten zij LLM's en de grootheden entropie en surprisal. Hoge entropie betekent veel mogelijke volgende woorden; hoge surprisal betekent dat een woord onverwacht is. De hersenreacties varieerden met de positie van een woord binnen de grammaticale structuur, wat wijst op gevoeligheid voor constituenten in menselijke voorspelling.
Moeilijke woorden
- voorspellen — verwachten wat er later komtvoorspelt
- magneto-encefalografie — techniek om elektrische hersenactiviteit te meten
- cloze-test — test waarbij woorden uit een tekst ontbrekenCloze-tests
- entropie — maat voor hoeveel mogelijke volgende woorden
- surprisal — maat voor hoe onverwacht een woord is
- constituent — deel van een grammaticale structuur of zinconstituenten
- taalonafhankelijk — geldt voor meerdere talen, niet slechts één
- hersenactiviteit — elektrische of magnetische signalen in de hersenen
Tip: beweeg de muisaanwijzer over gemarkeerde woorden in het artikel, of tik erop om snelle definities te zien terwijl je leest of luistert.
Discussievragen
- Denk je dat telefoons en grote taalmodellen woorden op dezelfde manier voorspellen als mensen? Waarom (kort)?
- Welke voordelen heeft het combineren van Cloze-tests en MEG bij onderzoek naar taal volgens jou?
- Waarom is het belangrijk of bevindingen taalonafhankelijk zijn of niet?
Gerelateerde artikelen
Nieuwe kwetsbaarheid kan zelfrijdende auto's overnemen
Onderzoekers van Georgia Tech ontdekten VillainNet, een verborgen achterdeur in AI-supernetwerken die zelfrijdende auto's kan overnemen zodra een specifiek subnetwerk wordt gekozen. Ze waarschuwen voor moeilijk detecteerbare aanvallen en vragen om betere beveiliging.
Nieuw niet-invasief apparaat meet bloedviscositeit
Onderzoekers van de University of Missouri ontwikkelden een niet-invasieve techniek om bloedviscositeit direct te meten met ultrasone golven en software. De methode kan realtime metingen geven zonder bloedafname en is gepubliceerd in de Journal of Dynamic Systems, Measurement, and Control.
Indonesië verscherpt regels voor online platforms
Indonesië past regels aan omdat steeds meer mensen nieuws online lezen. De regering praat met grote platforms, eist registratie en gebruikt een systeem om inhoud snel te verwijderen. Critici maken zich zorgen over onduidelijke regels en blokkades.
Stijgende stroomvraag door datacenters kan prijzen en uitstoot verhogen
Onderzoek waarschuwt dat groei van datacenters en cryptomijnbouw in de VS de elektriciteitsprijzen en de CO2-uitstoot tegen 2030 kan doen toenemen. De studie modelleert het elektriciteitssysteem en vergelijkt scenario’s met en zonder deze vraaggroei.