Nieuw onderzoek van de University of Chicago en partners bekijkt waarom moderne taalmodellen slecht zijn in lange berekeningen, zoals het vermenigvuldigen van twee viercijferige getallen. De onderzoekers vergelijken gewone fine-tuning met een andere methode, Implicit Chain of Thought (ICoT).
Modellen met twee tot 12 lagen haalden zeer lage nauwkeurigheid, terwijl het ICoT-getrainde model 100% correct was op de taak. De onderzoekers zagen dat ICoT tussentijdse waarden kon opslaan en later gebruiken. Toen ze een extra trainingsdoel toevoegden om lopende totalen bij te houden, steeg de nauwkeurigheid van een eenvoudig model tot 99%.
Moeilijke woorden
- onderzoek — systematisch werk om iets te ontdekken
- vergelijken — kijken naar verschillen en overeenkomsten
- nauwkeurigheid — hoe goed of precies een resultaat is
- opslaan — iets bewaren om later te gebruiken
- trainen — leren van een model met voorbeeldengetrainde
- lopende totalen — totaal dat steeds bij elkaar wordt opgeteld
Tip: beweeg de muisaanwijzer over gemarkeerde woorden in het artikel, of tik erop om snelle definities te zien terwijl je leest of luistert.
Discussievragen
- Vind je dat taalmodellen goed moeten kunnen rekenen? Waarom?
- Heb je wel eens met grote getallen op papier vermenigvuldigd?
- Hoe zou jij een model leren tussentijdse waarden te bewaren?
Gerelateerde artikelen
Menselijke vlo speelt rol bij pest in Madagascar
De pest blijft voorkomen in sommige landen, vooral in Madagascar. Onderzoekers vonden dat de menselijke vlo (Pulex irritans) bij uitbraken kan betrokken zijn en noemen huishoudgewoonten en insecticidegebruik als belangrijke factoren.
Elastisch oor gemaakt van menselijke cellen in het lab
Onderzoekers in Zwitserland produceerden elastisch oorkraakbeen uit menselijke cellen en testten de constructen in een diermodel. De geprinte oren bleven vorm en elasticiteit behouden; volgende stappen zijn klinische studies en formele goedkeuring.
Nieuwe echografiemethode onderscheidt cysten en vaste massa's
Onderzoekers ontwikkelden een nieuwe signaalverwerking voor echografie die vloeistof en vaste borstmassa's beter kan onderscheiden. In tests identificeerden artsen massa's in 96% van de gevallen, vergeleken met 67% met gewone echografie.
