Nieuw onderzoek van de University of Chicago en partners bekijkt waarom moderne taalmodellen slecht zijn in lange berekeningen, zoals het vermenigvuldigen van twee viercijferige getallen. De onderzoekers vergelijken gewone fine-tuning met een andere methode, Implicit Chain of Thought (ICoT).
Modellen met twee tot 12 lagen haalden zeer lage nauwkeurigheid, terwijl het ICoT-getrainde model 100% correct was op de taak. De onderzoekers zagen dat ICoT tussentijdse waarden kon opslaan en later gebruiken. Toen ze een extra trainingsdoel toevoegden om lopende totalen bij te houden, steeg de nauwkeurigheid van een eenvoudig model tot 99%.
Moeilijke woorden
- onderzoek — systematisch werk om iets te ontdekken
- vergelijken — kijken naar verschillen en overeenkomsten
- nauwkeurigheid — hoe goed of precies een resultaat is
- opslaan — iets bewaren om later te gebruiken
- trainen — leren van een model met voorbeeldengetrainde
- lopende totalen — totaal dat steeds bij elkaar wordt opgeteld
Tip: beweeg de muisaanwijzer over gemarkeerde woorden in het artikel, of tik erop om snelle definities te zien terwijl je leest of luistert.
Discussievragen
- Vind je dat taalmodellen goed moeten kunnen rekenen? Waarom?
- Heb je wel eens met grote getallen op papier vermenigvuldigd?
- Hoe zou jij een model leren tussentijdse waarden te bewaren?
Gerelateerde artikelen
Gen verlaagt achtergrondruis en verbetert aandacht bij muizen
Onderzoekers ontdekten dat variatie in het Homer1-gen de achtergrondactiviteit in de prefrontale cortex verlaagt en de aandacht verbetert bij muizen. Het werk, geleid door Priya Rajasethupathy, verschijnt in Nature Neuroscience.
Magnetische zuivering verwijdert arseen uit grondwater
Twee broers uit India ontwikkelden een magnetische methode om arseen uit grondwater te halen. Hun chemievrije techniek (METAL) leverde het product MARU op; het systeem is goedkoop, makkelijk te onderhouden en kreeg nationale erkenning.
