Ein Forscherteam untersucht, warum moderne Sprachmodelle Probleme mit der Multiplikation von vierstelligen Zahlen haben. Sie vergleichen die übliche Methode Fine-Tuning mit einer anderen Methode namens Implicit Chain of Thought (ICoT).
Beim Standard-Fine-Tuning blieben Modelle fast immer falsch, weil sie Zwischenwerte nicht behalten. Das ICoT-Modell speichert dagegen Zwischenwerte und nutzt sie wieder, sodass die Ergebnisse korrekt sind. Die Forschenden zeigten auch, dass eine einfache Trainingsaufgabe, die das Verfolgen laufender Summen lehrt, einfache Modelle stark verbessert, ohne explizite Zwischenschritte vorzugeben.
Schwierige Wörter
- forscherteam — Gruppe von Personen, die Forschung machen
- sprachmodell — Computerprogramm, das Sprache verstehen kannSprachmodelle
- multiplikation — Rechnung, bei der Zahlen miteinander multipliziert werden
- vierstellig — mit vier Ziffern oder Stellenvierstelligen
- zwischenwert — Zwischenrechnung oder Zahl im RechenprozessZwischenwerte
- speichern — etwas behalten, damit man es später nutztspeichert
Tipp: Fahre über markierte Wörter oder tippe darauf, um kurze Definitionen zu sehen – während du liest oder zuhörst.
Diskussionsfragen
- Schreibst du beim Rechnen oft Zwischenschritte auf? Warum oder warum nicht?
- Findest du es sinnvoll, einem Modell das Verfolgen von Summen zu lehren? Begründe kurz.
- Welche Methode würdest du für ein Sprachmodell wählen: Standard-Fine-Tuning oder ICoT? Warum?
Verwandte Artikel
Junge Krebsüberlebende altern schneller
Eine Studie findet, dass Menschen, die als Jugendliche oder junge Erwachsene Krebs hatten, biologisch und in der Hirnfunktion schneller altern. Chemotherapie ist besonders mit dem beschleunigten Altern verbunden; Forschende prüfen Lebensstil‑Interventionen.
KI erweitert Sexual- und Reproduktionsinformationen in Lateinamerika
Gesundheitsgruppen und Forschende in Lateinamerika nutzen Künstliche Intelligenz, um junge und marginalisierte Menschen mit Sexual- und Reproduktionsinformationen zu erreichen. Projekte in Peru und Argentinien setzen Sprachen, digitale Kanäle und Datentrainings ein, zugleich gibt es Warnungen vor Verzerrungen.
Höhere Entzündungswerte und mehr Nutzung sozialer Medien
Eine Studie der University at Buffalo zeigt, dass höhere Entzündungswerte (gemessen mit CRP) mit einer Präferenz für soziale Medien statt persönlicher Treffen verbunden sind. Forschende nutzten Bluttests, Fragebögen und eine Woche Screen-Time.
Elastischer Ohrknorpel aus menschlichen Zellen im Labor
Forscher stellten im Labor elastischen Ohrknorpel aus menschlichen Zellen her und prüften die Konstrukte in Tierversuchen. Nach sechs Wochen blieben Form und Elastizität erhalten; als nächste Schritte sind klinische Studien und Zulassung geplant.
Computerspiele stärken das Gehirn nach Hirnverletzung
Eine Studie zeigt: Computerbasierte kognitive Spiele können bei Menschen mit chronischer traumatischer Hirnverletzung die Gehirnstruktur verändern und Denkfähigkeiten verbessern. Messungen der Neuroplastizität und Tests zur Verarbeitungsgeschwindigkeit, Aufmerksamkeit und zum Arbeitsgedächtnis zeigten positive Effekte.