Wissenschaftler der Brown University untersuchten, ob moderne Sprachmodelle eine Art Verständnis der realen Welt besitzen. Die Arbeit wurde auf der International Conference on Learning Representations in Rio de Janeiro vorgestellt.
Die Forschenden präsentierten Sätze mit unterschiedlich plausiblen Ereignissen, etwa „Jemand kühlte ein Getränk mit Eis“, „mit Schnee“, „mit Feuer“ oder „mit gestern“. Für jeden Satz analysierten sie die internen mathematischen Zustände, eine Methode, die mechanistische Interpretierbarkeit genannt wird.
Die Experimente liefen über mehrere Open‑Source‑Modelle, darunter GPT‑2, Llama 3.2 und Gemma 2. Die Studie zeigte, dass genügend große Modelle interne Vektoren entwickelten, die zu Plausibilitätskategorien passten. Diese Vektoren konnten ähnliche Kategorien, etwa unwahrscheinlich gegenüber unmöglich, mit etwa 85% Genauigkeit unterscheiden und spiegelten auch gespaltene menschliche Urteile wider.
Schwierige Wörter
- sprachmodell — Computerprogramm, das Sprache versteht oder erzeugtSprachmodelle
- verständnis — Wissen oder Einsicht über die reale Welt
- interpretierbarkeit — Möglichkeit, wie ein Modell erklärt werden kannmechanistische Interpretierbarkeit
- intern — innerhalb eines Systems oder Modellsinternen
- vektor — Mathematische Liste von Zahlen im ModellVektoren
- plausibilitätskategorie — Gruppe für mögliche oder unmögliche EreignissePlausibilitätskategorien
- genauigkeit — Wie oft ein Ergebnis richtig ist
Tipp: Fahre über markierte Wörter oder tippe darauf, um kurze Definitionen zu sehen – während du liest oder zuhörst.
Diskussionsfragen
- Glaubst du, dass die Ergebnisse zeigen, dass Sprachmodelle echtes Verständnis haben? Warum oder warum nicht?
- Was könnte es bedeuten, wenn die Vektoren gespaltene menschliche Urteile widerspiegeln?
- Wie würdest du praktisch prüfen, ob ein Sprachmodell die reale Welt versteht? Nenne eine einfache Idee.
Verwandte Artikel
KI-Test sagt Rückfallrisiko bei Brustkrebs voraus
Forscherinnen und Forscher beschreiben in Nature Communications einen Test auf Basis künstlicher Intelligenz (AI). Der Test kombiniert klinische Daten und Pathologie-Schnitte, ist schneller und günstiger als genomische Tests und braucht noch klinische Studien.
Wie Braun-Kuhstärlinge den wässrigen Klang erzeugen
Neue Forschung zeigt, wie Kuhstärlinge mit ihrer Syrinx und gezielter Atmungssteuerung einen wässrigen, tropfenähnlichen Klang erzeugen. Stare lernten diese Laute nachzuahmen; die Studie beleuchtet auch Verbindungen zur menschlichen Sprache.
Aus Vape-Kartuschen wird ein Synthesizer
Ein Team an der NYU hat weggeworfene Vape-Kartuschen in einfache elektronische Instrumente umgebaut. Die Anleitung ist frei verfügbar; das Projekt will zeigen, wie Teile und Batterien wiederverwendet werden können, um Elektroschrott zu verringern.
Gewebeverlustkrankheit bedroht karibische Korallen
Das Institute of Marine Affairs warnt vor der Gewebeverlustkrankheit (SCTLD), die Korallenriffe in der Karibik stark schädigt und vermutlich bald Tobago erreichen wird. Behörden bereiten sich vor, schulen Personal und rufen zu Meldungen und Schutzmaßnahmen auf.