Ein Forscherteam untersucht, warum moderne Sprachmodelle Probleme mit der Multiplikation von vierstelligen Zahlen haben. Sie vergleichen die übliche Methode Fine-Tuning mit einer anderen Methode namens Implicit Chain of Thought (ICoT).
Beim Standard-Fine-Tuning blieben Modelle fast immer falsch, weil sie Zwischenwerte nicht behalten. Das ICoT-Modell speichert dagegen Zwischenwerte und nutzt sie wieder, sodass die Ergebnisse korrekt sind. Die Forschenden zeigten auch, dass eine einfache Trainingsaufgabe, die das Verfolgen laufender Summen lehrt, einfache Modelle stark verbessert, ohne explizite Zwischenschritte vorzugeben.
Schwierige Wörter
- forscherteam — Gruppe von Personen, die Forschung machen
- sprachmodell — Computerprogramm, das Sprache verstehen kannSprachmodelle
- multiplikation — Rechnung, bei der Zahlen miteinander multipliziert werden
- vierstellig — mit vier Ziffern oder Stellenvierstelligen
- zwischenwert — Zwischenrechnung oder Zahl im RechenprozessZwischenwerte
- speichern — etwas behalten, damit man es später nutztspeichert
Tipp: Fahre über markierte Wörter oder tippe darauf, um kurze Definitionen zu sehen – während du liest oder zuhörst.
Diskussionsfragen
- Schreibst du beim Rechnen oft Zwischenschritte auf? Warum oder warum nicht?
- Findest du es sinnvoll, einem Modell das Verfolgen von Summen zu lehren? Begründe kurz.
- Welche Methode würdest du für ein Sprachmodell wählen: Standard-Fine-Tuning oder ICoT? Warum?
Verwandte Artikel
Wenige reiche Länder prägen Forschung in der Tropenmedizin
Eine Analyse zeigt, dass Redaktionsgremien der Tropenmedizin überwiegend aus wohlhabenden Ländern stammen. Betroffene Regionen sind oft unterrepräsentiert; die Studie verknüpft dies mit Finanzierungsungleichheiten und empfiehlt mehr Diversität und Partnerschaften.
Soziale Medien: Nutzen, Risiken und neue KI-Gefahren
Soziale Medien verbinden Menschen, helfen marginalisierten Gruppen, verbreiten aber auch Hass, Lügen und reale Schäden. Entscheidungen von Firmen, Algorithmen und generative KI verändern Sichtbarkeit, Vertrauen und Risiko in der Öffentlichkeit.
Studie: PHQ-Fragen führen zu Missverständnissen
Eine Studie in JAMA Psychiatry zeigt, dass Patientinnen und Patienten das PHQ unterschiedlich verstehen. Die Autoren empfehlen, Häufigkeit und Belastung eines Symptoms getrennt zu fragen, und schlagen dafür einfache Formulierungen vor.
Molekül speichert Sonnenlicht als Wärme
Forscher an der UC Santa Barbara entwickelten ein modifiziertes Molekül, das Sonnenlicht in chemischen Bindungen speichert und bei Bedarf als Wärme freisetzt. Experimente erzeugten genügend Wärme, um Wasser zum Kochen zu bringen; die Entwicklung wird weiter gefördert.
