Wissenschaftler der Brown University untersuchten, ob moderne Sprachmodelle eine Art Verständnis der realen Welt besitzen. Die Arbeit wurde auf der International Conference on Learning Representations in Rio de Janeiro vorgestellt.
Die Forschenden präsentierten Sätze mit unterschiedlich plausiblen Ereignissen, etwa „Jemand kühlte ein Getränk mit Eis“, „mit Schnee“, „mit Feuer“ oder „mit gestern“. Für jeden Satz analysierten sie die internen mathematischen Zustände, eine Methode, die mechanistische Interpretierbarkeit genannt wird.
Die Experimente liefen über mehrere Open‑Source‑Modelle, darunter GPT‑2, Llama 3.2 und Gemma 2. Die Studie zeigte, dass genügend große Modelle interne Vektoren entwickelten, die zu Plausibilitätskategorien passten. Diese Vektoren konnten ähnliche Kategorien, etwa unwahrscheinlich gegenüber unmöglich, mit etwa 85% Genauigkeit unterscheiden und spiegelten auch gespaltene menschliche Urteile wider.
Schwierige Wörter
- sprachmodell — Computerprogramm, das Sprache versteht oder erzeugtSprachmodelle
- verständnis — Wissen oder Einsicht über die reale Welt
- interpretierbarkeit — Möglichkeit, wie ein Modell erklärt werden kannmechanistische Interpretierbarkeit
- intern — innerhalb eines Systems oder Modellsinternen
- vektor — Mathematische Liste von Zahlen im ModellVektoren
- plausibilitätskategorie — Gruppe für mögliche oder unmögliche EreignissePlausibilitätskategorien
- genauigkeit — Wie oft ein Ergebnis richtig ist
Tipp: Fahre über markierte Wörter oder tippe darauf, um kurze Definitionen zu sehen – während du liest oder zuhörst.
Diskussionsfragen
- Glaubst du, dass die Ergebnisse zeigen, dass Sprachmodelle echtes Verständnis haben? Warum oder warum nicht?
- Was könnte es bedeuten, wenn die Vektoren gespaltene menschliche Urteile widerspiegeln?
- Wie würdest du praktisch prüfen, ob ein Sprachmodell die reale Welt versteht? Nenne eine einfache Idee.
Verwandte Artikel
Trockene Exoplaneten sind wahrscheinlich unwirtlich
Neue Forschung zeigt: Planeten mit sehr wenig Oberflächenwasser können den wichtigen geologischen Kohlenstoffkreislauf nicht aufrechterhalten. Ohne genug Wasser steigt die Temperatur, und solche Planeten in der habitablen Zone sind vermutlich kein guter Ort für Leben.
Connie Nshemereirwe: Forschung und Bildung in Afrika
Connie Nshemereirwe, Spezialistin für Bildungsbewertung und ehemalige Ingenieurin, fordert, dass Forschungsfragen in Afrika aus der Basis entstehen. Sie warnt vor Folgen der langen Schulschließungen in Uganda und leitet ein Programm für afrikanische Forschende.