Ein Forscherteam untersucht, warum moderne Sprachmodelle Probleme mit der Multiplikation von vierstelligen Zahlen haben. Sie vergleichen die übliche Methode Fine-Tuning mit einer anderen Methode namens Implicit Chain of Thought (ICoT).
Beim Standard-Fine-Tuning blieben Modelle fast immer falsch, weil sie Zwischenwerte nicht behalten. Das ICoT-Modell speichert dagegen Zwischenwerte und nutzt sie wieder, sodass die Ergebnisse korrekt sind. Die Forschenden zeigten auch, dass eine einfache Trainingsaufgabe, die das Verfolgen laufender Summen lehrt, einfache Modelle stark verbessert, ohne explizite Zwischenschritte vorzugeben.
Schwierige Wörter
- forscherteam — Gruppe von Personen, die Forschung machen
- sprachmodell — Computerprogramm, das Sprache verstehen kannSprachmodelle
- multiplikation — Rechnung, bei der Zahlen miteinander multipliziert werden
- vierstellig — mit vier Ziffern oder Stellenvierstelligen
- zwischenwert — Zwischenrechnung oder Zahl im RechenprozessZwischenwerte
- speichern — etwas behalten, damit man es später nutztspeichert
Tipp: Fahre über markierte Wörter oder tippe darauf, um kurze Definitionen zu sehen – während du liest oder zuhörst.
Diskussionsfragen
- Schreibst du beim Rechnen oft Zwischenschritte auf? Warum oder warum nicht?
- Findest du es sinnvoll, einem Modell das Verfolgen von Summen zu lehren? Begründe kurz.
- Welche Methode würdest du für ein Sprachmodell wählen: Standard-Fine-Tuning oder ICoT? Warum?
Verwandte Artikel
Erfüllte psychologische Bedürfnisse und sichereres Trinken
Neue Forschung zeigt: Wenn Autonomie, Kompetenz und Verbundenheit erfüllt sind, trinken Menschen tendenziell verantwortungsbewusster. Die Ergebnisse stammen aus drei Studien mit Studierenden und Erwachsenen und wurden in Psychology of Addictive Behaviors veröffentlicht.
Rahmenmodell: Wie KI Teile der Psychotherapie automatisieren kann
Forscher der University of Utah entwickelten ein Modell, das zeigt, welche psychotherapeutischen Aufgaben durch konversationelle KI und große Sprachmodelle (LLMs) automatisiert werden könnten. Das Papier beschreibt vier Automatisierungsstufen und diskutiert Nutzen, Risiken und Prüfverfahren.
Xonorika Kira: Menschzentrierte KI kann Ausschluss verstärken
Die Künstlerin Xonorika Kira warnt, dass der Ausdruck „den Menschen in den Mittelpunkt“ eine enge Vorstellung von Menschlichkeit verbergen kann und so viele Formen von Intelligenz ausschließt. Sie schlägt Alternativen für Daten, Modelle und Gemeinschaften vor.
