Eine Studie, veröffentlicht in Nature Neuroscience, stellt die Frage, ob menschliche Wortvorhersage dem Prinzip großer Sprachmodelle gleicht. Die Forschenden kommen zu dem Schluss, dass das Gehirn Vorhersagen auf der Ebene grammatischer Einheiten trifft. Statt nur das nächste Wort zu erwarten, berücksichtigt das Gehirn Konstituenten — also grammatisch organisierte Abschnitte — bei der Antizipation, wie Mitautor David Poeppel erklärt.
Die Untersuchung kombinierte mehrere Methoden: Experimente mit Mandarin‑Sprechenden, Messungen der Hirnaktivität mittels Magnetoenzephalographie (MEG) und verhaltensbasierte Cloze‑Tests, bei denen Leserinnen und Leser fehlende Wörter ergänzen. Zur Prüfung der Sprachunabhängigkeit wurden zusätzlich Hirndaten von Personen mit Englisch‑Exposition analysiert.
Um Vorhersagbarkeit quantitativ zu erfassen, nutzte das Team große Sprachmodelle und bestimmte Entropie sowie Surprisal. Hohe Entropie steht für viele mögliche nächste Wörter; hohes Surprisal zeigt ein unerwartetes Wort im Kontext (zum Beispiel im Gegensatz zwischen „Ich sah ein“ und „Ich saß auf einem“). Beim Vergleich der modellbasierten Vorhersagen mit den Hirnantworten waren die Korrelationen nicht durchgehend hoch. Stattdessen variierte die neuronale Reaktion mit der Position eines Wortes in der grammatischen Struktur, was auf Sensitivität gegenüber Konstituenten hinweist.
Die Autorinnen und Autoren folgern, dass menschliche Vorhersage ausgewogen ist und durch grammatisch organisierte Abschnitte moduliert wird, nicht allein durch die Wahrscheinlichkeit des nächsten Wortes. Da LLMs diese Konstituentensensitivität offenbar nicht vollständig widerspiegeln, ergeben sich neue Fragen zur Beziehung zwischen neuronalen Sprachprozessen und rechnerischen Modellen.
Schwierige Wörter
- konstituente — grammatisch organisierter Abschnitt in einem SatzKonstituenten
- entropie — Maß für die Ungewissheit über mögliche Wörter
- surprisal — Maß für die Unerwartetheit eines Wortes im Kontext
- magnetoenzephalographie — Messverfahren, das magnetische Signale des Gehirns misst
- cloze-test — Test, bei dem Leserinnen fehlende Wörter ergänzenCloze‑Tests
- modulieren — durch etwas beeinflussen oder in bestimmter Weise verändernmoduliert
Tipp: Fahre über markierte Wörter oder tippe darauf, um kurze Definitionen zu sehen – während du liest oder zuhörst.
Diskussionsfragen
- Welche Konsequenzen könnten die Befunde für die Entwicklung großer Sprachmodelle haben?
- Wie könnten Lehrerinnen und Lehrer die Erkenntnis nutzen, dass das Gehirn mit Konstituenten arbeitet?
- Welche weiteren Experimente würden Sie vorschlagen, um die Beziehung zwischen neuronalen Prozessen und rechnerischen Modellen zu klären?
Verwandte Artikel
Chinesische Elektroautos verlagern ihren Fokus nach Afrika
Chinesische Autohersteller expandierten ins Ausland, doch hohe Zölle in den USA und Handelskontrollen in der EU schränken den Zugang ein. Viele Firmen und afrikanische Regierungen bauen nun Produktion, Händlernetz und Infrastruktur in Afrika aus.
Studie: Mehr Hirnaktivität bei Menschen mit Zwangsstörung
Eine Studie aus dem Labor von Theresa Desrochers an der Brown University zeigt, dass Menschen mit Zwangsstörung bei einer sequentiellen Denkaufgabe mehr Hirnregionen rekrutieren. Die Befunde könnten TMS‑Therapien gezielter machen.
Wie verteilte Gehirnnetzwerke Intelligenz formen
Neurowissenschaftler untersuchten mit Hirnbildgebung, wie die Organisation vieler Gehirnbereiche zur allgemeinen Intelligenz führt. Die Studie zeigt, dass Intelligenz aus vernetzter, systemweiter Koordination entsteht und nicht aus einer einzigen Region.
Dopamin stärkt motorisches Lernen im Schlaf
Eine Studie zeigt, dass bestimmte Dopaminneuronen kurz nach dem Erlernen neuer Bewegungen im Non‑REM‑Schlaf aktiv werden. Die synchronisierte Aktivität mit Schlafspindeln stärkt motorische Erinnerungen und verbessert die Leistung nach dem Schlaf.