Ein Forscherteam untersucht, warum moderne Sprachmodelle Probleme mit der Multiplikation von vierstelligen Zahlen haben. Sie vergleichen die übliche Methode Fine-Tuning mit einer anderen Methode namens Implicit Chain of Thought (ICoT).
Beim Standard-Fine-Tuning blieben Modelle fast immer falsch, weil sie Zwischenwerte nicht behalten. Das ICoT-Modell speichert dagegen Zwischenwerte und nutzt sie wieder, sodass die Ergebnisse korrekt sind. Die Forschenden zeigten auch, dass eine einfache Trainingsaufgabe, die das Verfolgen laufender Summen lehrt, einfache Modelle stark verbessert, ohne explizite Zwischenschritte vorzugeben.
Schwierige Wörter
- forscherteam — Gruppe von Personen, die Forschung machen
- sprachmodell — Computerprogramm, das Sprache verstehen kannSprachmodelle
- multiplikation — Rechnung, bei der Zahlen miteinander multipliziert werden
- vierstellig — mit vier Ziffern oder Stellenvierstelligen
- zwischenwert — Zwischenrechnung oder Zahl im RechenprozessZwischenwerte
- speichern — etwas behalten, damit man es später nutztspeichert
Tipp: Fahre über markierte Wörter oder tippe darauf, um kurze Definitionen zu sehen – während du liest oder zuhörst.
Diskussionsfragen
- Schreibst du beim Rechnen oft Zwischenschritte auf? Warum oder warum nicht?
- Findest du es sinnvoll, einem Modell das Verfolgen von Summen zu lehren? Begründe kurz.
- Welche Methode würdest du für ein Sprachmodell wählen: Standard-Fine-Tuning oder ICoT? Warum?
Verwandte Artikel
GLO1 schützt gegen Calcium‑Schäden im Gehirn
Forscher der Yale School of Medicine fanden, dass das Protein GLO1 bei hohem zellulärem Calcium ansteigt und vor Schäden schützt. Die GLO1-Aktivität fällt mit dem Alter, was die Widerstandsfähigkeit des Gehirns gegen Degeneration senken kann.
Chinesische Elektroautos verlagern ihren Fokus nach Afrika
Chinesische Autohersteller expandierten ins Ausland, doch hohe Zölle in den USA und Handelskontrollen in der EU schränken den Zugang ein. Viele Firmen und afrikanische Regierungen bauen nun Produktion, Händlernetz und Infrastruktur in Afrika aus.
Connie Nshemereirwe: Forschung und Bildung in Afrika
Connie Nshemereirwe, Spezialistin für Bildungsbewertung und ehemalige Ingenieurin, fordert, dass Forschungsfragen in Afrika aus der Basis entstehen. Sie warnt vor Folgen der langen Schulschließungen in Uganda und leitet ein Programm für afrikanische Forschende.
Elite-Controller kontrollieren HIV ohne Medikamente
Eine kleine Gruppe von Menschen mit HIV hält das Virus ohne Medikamente nicht nachweisbar. Forschende untersuchen vor allem genetische Merkmale in Afrika, weil die Erkenntnisse neue Behandlungen oder Impfstoffe ermöglichen könnten.
Tragbare Antikörper‑Sensoren messen in 10 Minuten
Forscher der University of Pittsburgh entwickelten tragbare Biosensoren, die in 10 Minuten Antikörper ohne Blutentnahme erkennen. Die Sensoren messen Antikörper in der Interstitialflüssigkeit und sind in Analytical Chemistry beschrieben.