Waarom taalmodellen moeite hebben met vermenigvuldigen ^{CEFR B1}

Onder leiding van Xiaoyan Bai en Chenhao Tan van de University of Chicago, met medewerking van MIT, Harvard University, University of Waterloo en Google DeepMind, onderzochten onderzoekers waarom taalmodellen moeite hebben met viercijferige vermenigvuldiging. Ze richtten zich op langeafstandsafhankelijkheden: het vasthouden van deelproducten en lopende totalen tijdens meerstapsberekeningen.

De studie vergeleek standaard fine-tuning met Implicit Chain of Thought (ICoT). Modellen met twee tot 12 lagen bereikten minder dan <1% nauwkeurigheid, terwijl het ICoT-model 100% behaalde. Analyse van de interne toestanden liet zien dat het ICoT-model tussentijdse waarden codeert en lopende totalen kon worden gedecodeerd uit verborgen toestanden.

Met een eenvoudig trainingsdoel dat het model leert lopende totalen bij te houden, steeg de nauwkeurigheid van een twee-laags model naar 99%. De onderzoekers concluderen dat gerichte architectuurkeuzes en trainingsdoelen meerstapsredenering mogelijk maken en dat dit belangrijk is voor betrouwbaar gebruik van AI.