Мозг предсказывает слова через грамматические группы ^{CEFR B2}

Исследование, опубликованное в Nature Neuroscience, показало, что человеческий мозг формирует предсказания о языке на уровне грамматически организованных блоков, а не только отдельного следующего слова. Авторы отмечают, что большие языковые модели обучаются и оптимизируются для прогнозирования следующего слова, тогда как мозг проявляет чувствительность к целым конституентам — группы слов, объединённые грамматически.

Для анализа учёные провели серию экспериментов с носителями мандаринского варианта китайского языка и записывали мозговую активность с помощью магнитоэнцефалографии (MEG). Кроме того, использовали поведенческие Cloze‑тесты, а также проанализировали дополнительные данные мозговой активности пациентов, подвергшихся воздействию английского языка, чтобы проверить распространение выводов на другие языки.

Команда связала реакции мозга с предсказаниями больших языковых моделей, вычисляя энтропию и неожиданность (surprisal). В статье приводят примеры: фраза «я видел(а) …» имеет более высокую энтропию, чем «я сел(а) на …», а слово «кот» будет более неожиданным после «я сел(а) на …». Результаты показали, что корреляции с моделями менялись в зависимости от позиции слова в грамматической структуре, что указывает на чувствительность мозга к конституентам.

Авторы делают вывод, что человеческие предсказания уравновешены и модулируются грамматическими блоками, а большие языковые модели не отражают такую же структуру предсказаний. Это ставит новые вопросы о соотношении процессов языка в мозге и вычислительных моделей.