Gehirn sagt Wörter als Phrasen voraus ^{CEFR B2}

Eine Studie, veröffentlicht in Nature Neuroscience, stellt die Frage, ob menschliche Wortvorhersage dem Prinzip großer Sprachmodelle gleicht. Die Forschenden kommen zu dem Schluss, dass das Gehirn Vorhersagen auf der Ebene grammatischer Einheiten trifft. Statt nur das nächste Wort zu erwarten, berücksichtigt das Gehirn Konstituenten — also grammatisch organisierte Abschnitte — bei der Antizipation, wie Mitautor David Poeppel erklärt.

Die Untersuchung kombinierte mehrere Methoden: Experimente mit Mandarin‑Sprechenden, Messungen der Hirnaktivität mittels Magnetoenzephalographie (MEG) und verhaltensbasierte Cloze‑Tests, bei denen Leserinnen und Leser fehlende Wörter ergänzen. Zur Prüfung der Sprachunabhängigkeit wurden zusätzlich Hirndaten von Personen mit Englisch‑Exposition analysiert.

Um Vorhersagbarkeit quantitativ zu erfassen, nutzte das Team große Sprachmodelle und bestimmte Entropie sowie Surprisal. Hohe Entropie steht für viele mögliche nächste Wörter; hohes Surprisal zeigt ein unerwartetes Wort im Kontext (zum Beispiel im Gegensatz zwischen „Ich sah ein“ und „Ich saß auf einem“). Beim Vergleich der modellbasierten Vorhersagen mit den Hirnantworten waren die Korrelationen nicht durchgehend hoch. Stattdessen variierte die neuronale Reaktion mit der Position eines Wortes in der grammatischen Struktur, was auf Sensitivität gegenüber Konstituenten hinweist.

Die Autorinnen und Autoren folgern, dass menschliche Vorhersage ausgewogen ist und durch grammatisch organisierte Abschnitte moduliert wird, nicht allein durch die Wahrscheinlichkeit des nächsten Wortes. Da LLMs diese Konstituentensensitivität offenbar nicht vollständig widerspiegeln, ergeben sich neue Fragen zur Beziehung zwischen neuronalen Sprachprozessen und rechnerischen Modellen.