Nieuw onderzoek van de University of Chicago en partners bekijkt waarom moderne taalmodellen slecht zijn in lange berekeningen, zoals het vermenigvuldigen van twee viercijferige getallen. De onderzoekers vergelijken gewone fine-tuning met een andere methode, Implicit Chain of Thought (ICoT).
Modellen met twee tot 12 lagen haalden zeer lage nauwkeurigheid, terwijl het ICoT-getrainde model 100% correct was op de taak. De onderzoekers zagen dat ICoT tussentijdse waarden kon opslaan en later gebruiken. Toen ze een extra trainingsdoel toevoegden om lopende totalen bij te houden, steeg de nauwkeurigheid van een eenvoudig model tot 99%.
Moeilijke woorden
- onderzoek — systematisch werk om iets te ontdekken
- vergelijken — kijken naar verschillen en overeenkomsten
- nauwkeurigheid — hoe goed of precies een resultaat is
- opslaan — iets bewaren om later te gebruiken
- trainen — leren van een model met voorbeeldengetrainde
- lopende totalen — totaal dat steeds bij elkaar wordt opgeteld
Tip: beweeg de muisaanwijzer over gemarkeerde woorden in het artikel, of tik erop om snelle definities te zien terwijl je leest of luistert.
Discussievragen
- Vind je dat taalmodellen goed moeten kunnen rekenen? Waarom?
- Heb je wel eens met grote getallen op papier vermenigvuldigd?
- Hoe zou jij een model leren tussentijdse waarden te bewaren?
Gerelateerde artikelen
EU-AI-regels verliezen controle buiten de EU
7amleh concludeert dat Europese AI-regels niet volgen wat er met technologie gebeurt buiten de EU. EU-geld en producten belanden bij regeringen en strijdkrachten in West-Azië en Noord-Afrika, met weinig verantwoording voor mensenrechten.
Chinese autofabrikanten zetten in op Afrika voor elektrische auto's
Chinese fabrikanten breiden uit naar Afrika nadat de thuismarkt verzadigd raakte en de VS en EU handelsbarrières invoerden. Projecten in Marokko, Zuid-Afrika, Kenia en Oeganda tonen productie, verkoop en beleid voor elektrische voertuigen.
Videospel helpt kinderen oefenen met wetenschap
Onderzoekers ontwikkelden het spel Virtual Vet om basisschoolleerlingen te laten oefenen met wetenschappelijke vaardigheden en redeneerwerk. In tests behaalden kinderen die het spel speelden gemiddeld hogere scores dan bij traditionele klassikale activiteiten.
