Hinweise auf Weltverständnis in KI‑Sprachmodellen ^{CEFR B2}

Forscher an der Brown University präsentierten auf der International Conference on Learning Representations in Rio de Janeiro eine Untersuchung darüber, ob moderne KI‑Sprachmodelle Aspekte der realen Welt kodieren. Michael Lepori, Doktorand und Leiter der Studie, sagt, die Arbeit habe „ein gewisses Anzeichen, dass Sprachmodelle etwas Ähnliches wie die kausalen Beschränkungen der realen Welt kodiert haben“ gefunden.

Für die Tests erstellte das Team Sätze mit unterschiedlich plausiblen Ereignissen: von alltäglichen Formulierungen wie „Jemand kühlte ein Getränk mit Eis“ über unwahrscheinliche Varianten wie „mit Schnee“ bis zu unmöglichen Aussagen wie „mit Feuer“ und unsinnigen Zeilen wie „mit gestern“. Die Forschenden untersuchten die internen mathematischen Zustände der Modelle mit mechanistischer Interpretierbarkeit, die Lepori als eine Art „Neurowissenschaft für KI‑Systeme“ beschreibt.

Die Versuche liefen über mehrere Open‑Source‑Modelle, unter anderem OpenAI’s GPT‑2, Meta’s Llama 3.2 und Google’s Gemma 2. Die Studie zeigte, dass hinreichend große Modelle ausgeprägte interne Vektoren entwickelten, die Plausibilitätskategorien abbilden und ähnliche Kategorien mit etwa 85% Genauigkeit unterscheiden konnten. Die Vektoren spiegelten außerdem menschliche Unsicherheit wider.

• Mechanistische Interpretierbarkeit kann offenlegen, was Modelle kodieren.
• Interne Vektoren entsprechen menschlichen Plausibilitätsurteilen.
• Die Ergebnisse könnten die Entwicklung klügerer, vertrauenswürdigerer Modelle unterstützen.

Die Forschenden berichten, dass solche Vektoren in Modellen mit mehr als 2 billionen Parametern zu erscheinen beginnen, eine Größe, die im Vergleich zu den heutigen Modellen mit mehr als einer Billion Parametern klein ist.