Cérebro antecipa grupos gramaticais, não só a próxima palavra ^{CEFR B2}

Um estudo recente, publicado na Nature Neuroscience, mostra que a previsão de palavras pelo cérebro humano é organizada em blocos gramaticais (constituintes) e não reduzida à previsão da próxima palavra, como ocorre nos grandes modelos de linguagem. «Enquanto os LLMs são treinados e otimizados para prever a próxima palavra, o cérebro humano faz previsões agrupando gramaticalmente as palavras em frases», explicou o coautor David Poeppel.

Os investigadores realizaram vários experimentos com falantes de mandarim e registaram a atividade cerebral por magnetoencefalografia (MEG). Utilizaram também testes comportamentais Cloze e analisaram dados adicionais de doentes expostos ao inglês para avaliar a generalidade dos resultados. Para quantificar a previsibilidade, recorreram a LLMs e calcularam duas medidas: entropia e surpresa (surprisal). Alta entropia indica que o contexto permite muitas palavras possíveis (por exemplo, «Eu vi um» tem entropia maior do que «Eu me sentei em um»). Alta surpresa significa que uma palavra é inesperada no contexto; por exemplo, «gato» tem maior surpresa depois de «Eu me sentei em um» do que depois de «Eu vi um».

Ao comparar as previsões dos modelos com os sinais cerebrais, esperaria-se uma correlação uniforme se o cérebro funcionasse como um LLM. Em vez disso, a atividade cerebral variou conforme a posição da palavra na estrutura gramatical, sinalizando sensibilidade a constituintes. Os autores concluem que a previsão humana é equilibrada e modulada por blocos gramaticais, e que os LLMs não refletem integralmente essa sensibilidade, o que levanta novas questões sobre a relação entre processos cerebrais da linguagem e modelos computacionais.