Forscher an der Brown University präsentierten auf der International Conference on Learning Representations in Rio de Janeiro eine Untersuchung darüber, ob moderne KI‑Sprachmodelle Aspekte der realen Welt kodieren. Michael Lepori, Doktorand und Leiter der Studie, sagt, die Arbeit habe „ein gewisses Anzeichen, dass Sprachmodelle etwas Ähnliches wie die kausalen Beschränkungen der realen Welt kodiert haben“ gefunden.
Für die Tests erstellte das Team Sätze mit unterschiedlich plausiblen Ereignissen: von alltäglichen Formulierungen wie „Jemand kühlte ein Getränk mit Eis“ über unwahrscheinliche Varianten wie „mit Schnee“ bis zu unmöglichen Aussagen wie „mit Feuer“ und unsinnigen Zeilen wie „mit gestern“. Die Forschenden untersuchten die internen mathematischen Zustände der Modelle mit mechanistischer Interpretierbarkeit, die Lepori als eine Art „Neurowissenschaft für KI‑Systeme“ beschreibt.
Die Versuche liefen über mehrere Open‑Source‑Modelle, unter anderem OpenAI’s GPT‑2, Meta’s Llama 3.2 und Google’s Gemma 2. Die Studie zeigte, dass hinreichend große Modelle ausgeprägte interne Vektoren entwickelten, die Plausibilitätskategorien abbilden und ähnliche Kategorien mit etwa 85% Genauigkeit unterscheiden konnten. Die Vektoren spiegelten außerdem menschliche Unsicherheit wider.
- Mechanistische Interpretierbarkeit kann offenlegen, was Modelle kodieren.
- Interne Vektoren entsprechen menschlichen Plausibilitätsurteilen.
- Die Ergebnisse könnten die Entwicklung klügerer, vertrauenswürdigerer Modelle unterstützen.
Die Forschenden berichten, dass solche Vektoren in Modellen mit mehr als 2 billionen Parametern zu erscheinen beginnen, eine Größe, die im Vergleich zu den heutigen Modellen mit mehr als einer Billion Parametern klein ist.
Schwierige Wörter
- kodieren — Informationen in einem System speichern oder darstellenkodiert
- interpretierbarkeit — Fähigkeit, interne Abläufe eines Systems sichtbar zu machenmechanistischer Interpretierbarkeit, Mechanistische Interpretierbarkeit
- vektor — Mathematische Darstellung mit mehreren Zahlenwerteninterne Vektoren, Vektoren
- plausibilität — Grad, wie wahrscheinlich oder sinnvoll etwas istPlausibilitätskategorien, Plausibilitätsurteilen
- parameter — Einstellbarer Wert, der ein Modell beeinflusstParametern
- genauigkeit — Maß für die Richtigkeit oder Präzision eines Ergebnisses
Tipp: Fahre über markierte Wörter oder tippe darauf, um kurze Definitionen zu sehen – während du liest oder zuhörst.
Diskussionsfragen
- Welche Folgen hätte es für Vertrauen in KI, wenn Modelle reale kausale Beschränkungen kodieren?
- Wie könnten Entwickler mechanistische Interpretierbarkeit einsetzen, um Modelle zuverlässiger zu machen?
- Welche Probleme oder Risiken sehen Sie, wenn wichtige Vektoren erst in sehr großen Modellen sichtbar werden?
Verwandte Artikel
Metaboliten in Millionen Jahre alten Fossilien
Forschende extrahierten zum ersten Mal stoffwechselbezogene Moleküle aus fossilen Knochen im Alter von 1,3 bis 3 Millionen Jahren. Die Analysen zeigen Informationen zu Tieren, ihrer Nahrung und deuten auf damals wärmeres, feuchteres Klima hin.
Haar zeigt chemische Belastungen über Monate
Neue Forschungen der University of Texas at Austin zeigen, dass menschliches Haar chemische Expositionen über Tage, Wochen und Monate speichern kann. Forschende erhitzen Haarsträhnen und messen die freigesetzten Moleküle mit einem Massenspektrometer.
Citizen Science stärkt Überwachung von Gesundheit und Umwelt
Eine im August in Frontiers in Public Health veröffentlichte Übersichtsarbeit zeigt: Citizen Science kann viele Gesundheits‑ und Wohlbefindensindikatoren der SDGs und der WHO‑Triple‑Billion‑Ziele besser überwachen. Autorinnen und Autoren kommen von IIASA und WHO.
