Nieuw onderzoek van de University of Chicago en partners bekijkt waarom moderne taalmodellen slecht zijn in lange berekeningen, zoals het vermenigvuldigen van twee viercijferige getallen. De onderzoekers vergelijken gewone fine-tuning met een andere methode, Implicit Chain of Thought (ICoT).
Modellen met twee tot 12 lagen haalden zeer lage nauwkeurigheid, terwijl het ICoT-getrainde model 100% correct was op de taak. De onderzoekers zagen dat ICoT tussentijdse waarden kon opslaan en later gebruiken. Toen ze een extra trainingsdoel toevoegden om lopende totalen bij te houden, steeg de nauwkeurigheid van een eenvoudig model tot 99%.
Moeilijke woorden
- onderzoek — systematisch werk om iets te ontdekken
- vergelijken — kijken naar verschillen en overeenkomsten
- nauwkeurigheid — hoe goed of precies een resultaat is
- opslaan — iets bewaren om later te gebruiken
- trainen — leren van een model met voorbeeldengetrainde
- lopende totalen — totaal dat steeds bij elkaar wordt opgeteld
Tip: beweeg de muisaanwijzer over gemarkeerde woorden in het artikel, of tik erop om snelle definities te zien terwijl je leest of luistert.
Discussievragen
- Vind je dat taalmodellen goed moeten kunnen rekenen? Waarom?
- Heb je wel eens met grote getallen op papier vermenigvuldigd?
- Hoe zou jij een model leren tussentijdse waarden te bewaren?
Gerelateerde artikelen
Goedkope doekjes vinden lood in huis
Een nieuwe studie toont dat kleurveranderingen doekjes snel en goedkoop lood in huizen en auto’s kunnen aantonen. Onderzoekers testten de doekjes in woningen en voertuigen en vonden lood op veel oppervlakken; de methode is goedkoper dan laboratoriumtests.
Vetten in zuigelingenvoeding kunnen vroege leververvetting beïnvloeden
Een dierstudie met pasgeboren biggen toont dat het type vet in zuigelingenvoeding invloed kan hebben op vetophoping in de zich ontwikkelende lever. Voedingen met middellange-keten vetzuren leidden sneller tot tekenen van steatotische leverziekte.
Elektriciteit en internet blokkeren AI-toegang in Sub-Sahara Afrika
Onbetrouwbare elektriciteit en dure, trage internetverbindingen beperken het gebruik van kunstmatige intelligentie in Sub-Sahara Afrika. Daardoor hebben veel scholen, gezondheidscentra en startups weinig voordeel van AI.
Nieuwe AI-hulpmiddelen voor tuberculose getoond in Kopenhagen
Onderzoekers presenteerden op de Union World Conference on Lung Health (18-21 November) meerdere AI-hulpmiddelen voor opsporing en opvolging van tuberculose. De tools variëren van adem- en hoesttests tot kaarten en een röntgenhulpmiddel voor kinderen.