Onder leiding van Xiaoyan Bai en Chenhao Tan van de University of Chicago, met medewerking van MIT, Harvard University, University of Waterloo en Google DeepMind, onderzochten onderzoekers waarom taalmodellen moeite hebben met viercijferige vermenigvuldiging. Ze richtten zich op langeafstandsafhankelijkheden: het vasthouden van deelproducten en lopende totalen tijdens meerstapsberekeningen.
De studie vergeleek standaard fine-tuning met Implicit Chain of Thought (ICoT). Modellen met twee tot 12 lagen bereikten minder dan <1% nauwkeurigheid, terwijl het ICoT-model 100% behaalde. Analyse van de interne toestanden liet zien dat het ICoT-model tussentijdse waarden codeert en lopende totalen kon worden gedecodeerd uit verborgen toestanden.
Met een eenvoudig trainingsdoel dat het model leert lopende totalen bij te houden, steeg de nauwkeurigheid van een twee-laags model naar 99%. De onderzoekers concluderen dat gerichte architectuurkeuzes en trainingsdoelen meerstapsredenering mogelijk maken en dat dit belangrijk is voor betrouwbaar gebruik van AI.
Moeilijke woorden
- langeafstandsafhankelijkheid — verbinding tussen ver verwijderde delen in tekstlangeafstandsafhankelijkheden
- deelproduct — een tussenresultaat bij een vermenigvuldigingsstapdeelproducten
- meerstapsberekening — berekening met meerdere opeenvolgende stappenmeerstapsberekeningen
- lopend totaal — huidige som tijdens een berekeninglopende totalen
- nauwkeurigheid — hoe vaak het model het juiste antwoord geeft
- trainingsdoel — specifiek resultaat waar het model voor traint
- coderen — informatie intern opslaan in het modelcodeert
- decoderen — opnieuw aflezen van informatie uit verborgen toestandgedecodeerd
Tip: beweeg de muisaanwijzer over gemarkeerde woorden in het artikel, of tik erop om snelle definities te zien terwijl je leest of luistert.
Discussievragen
- Vind je het belangrijk dat modellen tussentijdse waarden bewaren tijdens berekeningen? Waarom?
- Wat lijkt jou moeilijker: gerichte architectuurkeuzes maken of een goed trainingsdoel bedenken? Leg kort uit.
- Hoe zou betrouwbare meerstapsredenering invloed kunnen hebben op dagelijks gebruik van AI?
Gerelateerde artikelen
Ecuador herstart Hacks Hackers tegen verkiezingsdesinformatie
Een groep in Ecuador bracht de lokale tak van Hacks Hackers terug om met technologie verkiezingsgerelateerde desinformatie te bestrijden. Ze organiseerden een conferentie (February 19) en een hackathon (February 22 and 23); winnaars kregen prijzen en mentoring.
Vaste telefoon of smartphone: wanneer is een kind er klaar voor?
Ouders vragen zich af wanneer een kind een eigen telefoon krijgt. Deskundigen van Virginia Tech noemen vaak de middelbare schoolleeftijd en wijzen op voordelen van een vaste huistelefoon en op het belang van praten en regels.
Sociale media: steun, desinformatie en nieuwe risico's
Sociale media geven steun aan gemarginaliseerde groepen, maar verspreiden ook haatspraak, leugens en schade. In januari 2025 stopte Meta met externe factchecks; experts en rapporten waarschuwen voor risico's van algoritmes en AI.
Display dat beelden zichtbaar en voelbaar maakt
Onderzoekers van University of California, Santa Barbara ontwikkelden een display dat mensen kunnen zien en aanraken. Het systeem gebruikt optotactiele pixels en een laserscanner om voelbare bultjes te maken en maakt dynamische beelden mogelijk.
Videospel helpt kinderen oefenen met wetenschap
Onderzoekers ontwikkelden het spel Virtual Vet om basisschoolleerlingen te laten oefenen met wetenschappelijke vaardigheden en redeneerwerk. In tests behaalden kinderen die het spel speelden gemiddeld hogere scores dan bij traditionele klassikale activiteiten.