Warum Sprachmodelle bei vierstelliger Multiplikation scheitern ^{CEFR B2}

Neue Forschung erklärt, warum moderne Large Language Models an der Multiplikation zweier vierstelliger Zahlen scheitern und wie sich dieses Problem beheben lässt. Ein Forscherteam der University of Chicago (geleitet von Xiaoyan Bai und Chenhao Tan) mit Partnern vom MIT, der Harvard University, der University of Waterloo und Google DeepMind verglich Standard-Fine-Tuning mit Implicit Chain of Thought (ICoT). Im Zentrum steht die Frage langer Abhängigkeiten: Modelle müssen Teilprodukte und laufende Summen über mehrere Rechenschritte bewahren, um am Ende eine korrekte Antwort zu liefern.

Beim Standard-Fine-Tuning erreichten Modelle mit zwei bis zwölf Schichten unter 1% Genauigkeit; sie blieben in einem lokalen Optimum hängen und lernten nur Oberflächenmuster. Das ICoT-Modell dagegen erreichte 100% Genauigkeit. Die Forschenden konnten aus den verborgenen Zuständen laufende Summen dekodieren, was belegte, dass ICoT Zwischenwerte kodiert und speichert.

Die Arbeit zeigt, dass das ICoT-Modell Aufmerksamkeit in zeitlich getrennten Pfaden organisiert: Frühe Schichten berechnen und speichern Produktpaare an bestimmten Positionen, spätere Schichten rufen diese Werte ab, um jede Ziffer des Ergebnisses zu bilden. Zudem stellten die Forschenden Fourier-ähnliche Basen für Ziffern und eine während des Trainings entstehende geometrische Operation ähnlich einer Minkowski-Summe fest.

Als Intervention fügten die Forschenden ein Trainingsziel hinzu, das das Modell lehrt, bei jedem Schritt laufende Summen zu verfolgen. Diese Ergänzung erhöhte die Genauigkeit eines zweischichtigen Modells auf 99% ohne explizite Chain-of-Thought-Anweisungen; das Modell entwickelte ähnliche Aufmerksamkeitsmechanismen und neue Strategien zur Verfolgung mehrerer Ziffernpaaren. Die Studie macht deutlich, dass mehr Daten oder größere Modelle allein nicht ausreichen und dass gezielte Architektur- und Trainingsänderungen mehrstufiges Denken ermöglichen. Quelle: University of Chicago