Neue Forschung erklärt, warum moderne Large Language Models an der Multiplikation zweier vierstelliger Zahlen scheitern und wie sich dieses Problem beheben lässt. Ein Forscherteam der University of Chicago (geleitet von Xiaoyan Bai und Chenhao Tan) mit Partnern vom MIT, der Harvard University, der University of Waterloo und Google DeepMind verglich Standard-Fine-Tuning mit Implicit Chain of Thought (ICoT). Im Zentrum steht die Frage langer Abhängigkeiten: Modelle müssen Teilprodukte und laufende Summen über mehrere Rechenschritte bewahren, um am Ende eine korrekte Antwort zu liefern.
Beim Standard-Fine-Tuning erreichten Modelle mit zwei bis zwölf Schichten unter 1% Genauigkeit; sie blieben in einem lokalen Optimum hängen und lernten nur Oberflächenmuster. Das ICoT-Modell dagegen erreichte 100% Genauigkeit. Die Forschenden konnten aus den verborgenen Zuständen laufende Summen dekodieren, was belegte, dass ICoT Zwischenwerte kodiert und speichert.
Die Arbeit zeigt, dass das ICoT-Modell Aufmerksamkeit in zeitlich getrennten Pfaden organisiert: Frühe Schichten berechnen und speichern Produktpaare an bestimmten Positionen, spätere Schichten rufen diese Werte ab, um jede Ziffer des Ergebnisses zu bilden. Zudem stellten die Forschenden Fourier-ähnliche Basen für Ziffern und eine während des Trainings entstehende geometrische Operation ähnlich einer Minkowski-Summe fest.
Als Intervention fügten die Forschenden ein Trainingsziel hinzu, das das Modell lehrt, bei jedem Schritt laufende Summen zu verfolgen. Diese Ergänzung erhöhte die Genauigkeit eines zweischichtigen Modells auf 99% ohne explizite Chain-of-Thought-Anweisungen; das Modell entwickelte ähnliche Aufmerksamkeitsmechanismen und neue Strategien zur Verfolgung mehrerer Ziffernpaaren. Die Studie macht deutlich, dass mehr Daten oder größere Modelle allein nicht ausreichen und dass gezielte Architektur- und Trainingsänderungen mehrstufiges Denken ermöglichen. Quelle: University of Chicago
Schwierige Wörter
- Abhängigkeit — Verbindung, bei der frühere Daten später relevant sindAbhängigkeiten
- Optimum — bester Wert innerhalb eines eingeschränkten Bereichs
- dekodieren — versteckte Information aus Zuständen lesbar machen
- Zustand — innere Situation eines Systems oder ModellsZuständen
- Summe — Ergebnis beim Addieren mehrerer ZahlenSummen
- Aufmerksamkeit — Mechanismus, der wichtige Informationen hervorhebt
- Schicht — eine Ebene eines neuronalen ModellsSchichten
Tipp: Fahre über markierte Wörter oder tippe darauf, um kurze Definitionen zu sehen – während du liest oder zuhörst.
Diskussionsfragen
- Welche Rolle spielen laufende Summen beim mehrstufigen Rechnen in Sprachmodellen?
- Welche Vorteile und Nachteile sehen Sie bei einem Trainingsziel, das Modelle lehrt, laufende Summen zu verfolgen?
- Sollten Entwickler eher Architektur- und Trainingsänderungen vornehmen oder mehr Daten und größere Modelle verwenden? Begründen Sie Ihre Meinung.
Verwandte Artikel
Tragbare Antikörper‑Sensoren messen in 10 Minuten
Forscher der University of Pittsburgh entwickelten tragbare Biosensoren, die in 10 Minuten Antikörper ohne Blutentnahme erkennen. Die Sensoren messen Antikörper in der Interstitialflüssigkeit und sind in Analytical Chemistry beschrieben.
Studie: PHQ-Fragen führen zu Missverständnissen
Eine Studie in JAMA Psychiatry zeigt, dass Patientinnen und Patienten das PHQ unterschiedlich verstehen. Die Autoren empfehlen, Häufigkeit und Belastung eines Symptoms getrennt zu fragen, und schlagen dafür einfache Formulierungen vor.
KI hilft bei der Erkennung von Melanomen
Forscher der University of Missouri trainieren KI-Modelle mit 400,000 Hautbildern, um Melanome schneller zu erkennen. Einzelne Modelle erreichten bis zu 88% Genauigkeit; kombiniert lagen die Modelle über 92% und dienen als Entscheidungsunterstützung.