Wissenschaftler der Brown University untersuchten, ob moderne Sprachmodelle eine Art Verständnis der realen Welt besitzen. Die Arbeit wurde auf der International Conference on Learning Representations in Rio de Janeiro vorgestellt.
Die Forschenden präsentierten Sätze mit unterschiedlich plausiblen Ereignissen, etwa „Jemand kühlte ein Getränk mit Eis“, „mit Schnee“, „mit Feuer“ oder „mit gestern“. Für jeden Satz analysierten sie die internen mathematischen Zustände, eine Methode, die mechanistische Interpretierbarkeit genannt wird.
Die Experimente liefen über mehrere Open‑Source‑Modelle, darunter GPT‑2, Llama 3.2 und Gemma 2. Die Studie zeigte, dass genügend große Modelle interne Vektoren entwickelten, die zu Plausibilitätskategorien passten. Diese Vektoren konnten ähnliche Kategorien, etwa unwahrscheinlich gegenüber unmöglich, mit etwa 85% Genauigkeit unterscheiden und spiegelten auch gespaltene menschliche Urteile wider.
Schwierige Wörter
- sprachmodell — Computerprogramm, das Sprache versteht oder erzeugtSprachmodelle
- verständnis — Wissen oder Einsicht über die reale Welt
- interpretierbarkeit — Möglichkeit, wie ein Modell erklärt werden kannmechanistische Interpretierbarkeit
- intern — innerhalb eines Systems oder Modellsinternen
- vektor — Mathematische Liste von Zahlen im ModellVektoren
- plausibilitätskategorie — Gruppe für mögliche oder unmögliche EreignissePlausibilitätskategorien
- genauigkeit — Wie oft ein Ergebnis richtig ist
Tipp: Fahre über markierte Wörter oder tippe darauf, um kurze Definitionen zu sehen – während du liest oder zuhörst.
Diskussionsfragen
- Glaubst du, dass die Ergebnisse zeigen, dass Sprachmodelle echtes Verständnis haben? Warum oder warum nicht?
- Was könnte es bedeuten, wenn die Vektoren gespaltene menschliche Urteile widerspiegeln?
- Wie würdest du praktisch prüfen, ob ein Sprachmodell die reale Welt versteht? Nenne eine einfache Idee.
Verwandte Artikel
Studie: KI ändert Ratschläge, wenn Autismus genannt wird
Eine Studie der Virginia Tech zeigt, dass große Sprachmodelle ihre Empfehlungen ändern, wenn Nutzende Autismus offenlegen. Häufig folgen die Antworten gängigen Stereotypen; Forschende fordern transparentere Systeme und mehr Nutzerkontrolle.
Ngogo: Schimpansen spalten sich und töten ehemalige Gruppenmitglieder
Eine Langzeitstudie am Ngogo-Nationalpark zeigt, dass sich eine sehr große Schimpansengruppe teilte. Mitglieder einer Gruppe griffen später mehr als 20 frühere Gruppenmitglieder an und töteten sie, worauf Forschende Fragen zum Sozialverhalten stellen.
