Wissenschaftler der Brown University untersuchten, ob moderne Sprachmodelle eine Art Verständnis der realen Welt besitzen. Die Arbeit wurde auf der International Conference on Learning Representations in Rio de Janeiro vorgestellt.
Die Forschenden präsentierten Sätze mit unterschiedlich plausiblen Ereignissen, etwa „Jemand kühlte ein Getränk mit Eis“, „mit Schnee“, „mit Feuer“ oder „mit gestern“. Für jeden Satz analysierten sie die internen mathematischen Zustände, eine Methode, die mechanistische Interpretierbarkeit genannt wird.
Die Experimente liefen über mehrere Open‑Source‑Modelle, darunter GPT‑2, Llama 3.2 und Gemma 2. Die Studie zeigte, dass genügend große Modelle interne Vektoren entwickelten, die zu Plausibilitätskategorien passten. Diese Vektoren konnten ähnliche Kategorien, etwa unwahrscheinlich gegenüber unmöglich, mit etwa 85% Genauigkeit unterscheiden und spiegelten auch gespaltene menschliche Urteile wider.
Schwierige Wörter
- sprachmodell — Computerprogramm, das Sprache versteht oder erzeugtSprachmodelle
- verständnis — Wissen oder Einsicht über die reale Welt
- interpretierbarkeit — Möglichkeit, wie ein Modell erklärt werden kannmechanistische Interpretierbarkeit
- intern — innerhalb eines Systems oder Modellsinternen
- vektor — Mathematische Liste von Zahlen im ModellVektoren
- plausibilitätskategorie — Gruppe für mögliche oder unmögliche EreignissePlausibilitätskategorien
- genauigkeit — Wie oft ein Ergebnis richtig ist
Tipp: Fahre über markierte Wörter oder tippe darauf, um kurze Definitionen zu sehen – während du liest oder zuhörst.
Diskussionsfragen
- Glaubst du, dass die Ergebnisse zeigen, dass Sprachmodelle echtes Verständnis haben? Warum oder warum nicht?
- Was könnte es bedeuten, wenn die Vektoren gespaltene menschliche Urteile widerspiegeln?
- Wie würdest du praktisch prüfen, ob ein Sprachmodell die reale Welt versteht? Nenne eine einfache Idee.
Verwandte Artikel
Wie Pilze nach Bränden Holzkohle nutzen
Forscher der University of California, Riverside fanden, dass Gene Pilzen helfen, nach Waldbränden zu wachsen und Holzkohle zu verwerten. Die Studie in PNAS beschreibt genetische und lebensgeschichtliche Strategien sowie mögliche Anwendungen für Umweltschutz.
KI-Test sagt Rückfallrisiko bei Brustkrebs voraus
Forscherinnen und Forscher beschreiben in Nature Communications einen Test auf Basis künstlicher Intelligenz (AI). Der Test kombiniert klinische Daten und Pathologie-Schnitte, ist schneller und günstiger als genomische Tests und braucht noch klinische Studien.
