Новое исследование, опубликованное в Nature Neuroscience, показало, что человеческий мозг предсказывает слова не только по вероятности отдельного следующего слова, но и грамматически группируя слова в составные единицы — конституенты. Авторы, в том числе соавтор Дэвид Поэппел, утверждают, что прогнозы мозга организованы по блокам фраз.
В серии экспериментов с носителями мандаринского варианта китайского языка исследователи регистрировали активность мозга с помощью магнитоэнцефалографии (MEG). Проводили также поведенческие Cloze‑тесты, а дополнительные данные взяли у пациентов, подвергшихся воздействию английского языка.
Команда использовала большие языковые модели, чтобы вычислить две величины — энтропию и неожиданность (surprisal) — и сравнила эти предсказания с реакциями мозга. Если бы мозг работал как модель, корреляции были бы одинаковы, но реакции зависели от позиции слова в грамматической структуре.
Сложные слова
- конституент — грамматическая группа слов внутри фразыконституенты
- энтропия — мера неопределённости или разброса информацииэнтропию
- магнитоэнцефалография — метод записи электрической активности мозгамагнитоэнцефалографии
- неожиданность — мера как сильно событие непредсказуемо
- корреляция — взаимосвязь между двумя показателями или событиямикорреляции
- предсказывать — говорить заранее какое слово или событиепредсказывает
Подсказка: наведите, сфокусируйтесь или нажмите на выделенные слова, чтобы увидеть краткие определения прямо во время чтения или прослушивания.
Вопросы для обсуждения
- Почему важно, что мозг предсказывает слова по фразам, а не только по отдельным словам?
- Какие дополнительные эксперименты можно провести, чтобы проверить эти результаты на другом языке?
- Как вы думаете, можно ли использовать эти открытия при обучении языкам или в технологиях обработки языка?
Похожие статьи
ИИ предсказывает черты личности по обычной речи
Новое исследование показало, что доступные генеративные модели ИИ, как ChatGPT, Claude и LLaMa, по текстам повседневной речи могут предсказывать черты личности, эмоции и поведение с точностью, сопоставимой или лучше оценок близких людей.
Как отказ от интернет‑куки бьёт по доходам от рекламы
Исследование Boston University показывает, что отказ от сторонних куки существенно снизил доходы издателей. Альтернатива Google Privacy Sandbox вернула лишь малую часть утраченных средств, а издатели ищут новые источники дохода.
После ChatGPT: как люди представляют искусственный интеллект
Появление больших языковых моделей после выхода ChatGPT в ноябре 2022 года изменило общественные разговоры об ИИ. Генеративный ИИ дал смешанные результаты, и эксперты призывают менять язык обсуждения в пользу безопасности и прав людей.
