Uma pesquisa publicada na Nature Neuroscience conclui que o cérebro humano antecipa palavras considerando unidades linguísticas maiores, chamadas constituintes. Os autores, que investigaram a questão devido às frequentes comparações entre LLMs e processamento humano, mostram que as pessoas não apenas prevêem uma única palavra a seguir.
O estudo incluiu vários experimentos com falantes de mandarim e usou magnetoencefalografia (MEG) para registar a atividade cerebral. Também aplicaram testes Cloze, nos quais uma palavra é removida de um trecho e os participantes preenchem a lacuna. Os investigadores compararam as respostas cerebrais com previsões de grandes modelos de linguagem que calculavam entropia e surpresa.
Os resultados indicam que o cérebro reage de modo diferente conforme a posição da palavra na estrutura gramatical, o que sugere sensibilidade a constituintes. Assim, os modelos que só prevêem a próxima palavra não capturam completamente esse aspeto do processamento humano.
Palavras difíceis
- constituinte — Unidade linguística maior que uma palavra simplesconstituintes
- magnetoencefalografia — Técnica que regista campos magnéticos do cérebro
- cloze — Teste em que uma palavra é removida e preenchida
- entropia — Medida da incerteza nas previsões de linguagem
- surpresa — Quanto inesperada é uma palavra num contexto
- antecipar — Prever algo antes que aconteça ou seja ditoantecipa
Dica: passe o mouse, foque ou toque nas palavras destacadas no artigo para ver definições rápidas enquanto lê ou ouve.
Perguntas para discussão
- Você já fez um teste Cloze ou completou um texto com palavras faltando? Como foi a experiência?
- Por que acha importante que modelos de linguagem considerem unidades maiores que uma palavra?
- De que forma essa descoberta sobre a sensibilidade a constituintes pode influenciar o desenvolvimento de modelos de linguagem?
Artigos relacionados
Como o ensino online afetou estudantes na China em 2020
Pesquisa analisa a mudança rápida do presencial para o ensino online na China durante o confinamento de 2020 e compara notas antes e depois. Resultados variam por disciplina e por políticas de bloqueio, e há recomendações para cursos online.