Une étude publiée dans Nature Neuroscience montre que le cerveau humain anticipe les mots différemment des grands modèles de langage (LLMs). Les chercheurs ont testé des locuteurs mandarins et ont enregistré leur activité cérébrale avec la magnétoencéphalographie (MEG). Ils ont aussi utilisé des tests de Cloze et des données supplémentaires de patients exposés à l’anglais.
Pour quantifier la prévisibilité, l’équipe a employé des LLMs et calculé l’entropie et le surprisal. Une entropie élevée signifie que le contexte laisse plusieurs mots possibles. Un surprisal élevé indique qu’un mot est inattendu dans un contexte donné.
En comparant les réponses cérébrales et les prédictions des modèles, les auteurs ont trouvé que la corrélation varie selon la position du mot dans la structure grammaticale. Ils en déduisent que le cerveau anticipe par groupes grammaticaux plutôt que par simple probabilité du mot suivant.
Mots difficiles
- anticiper — prévoir quelque chose avant qu'il n'arriveanticipe
- magnétoencéphalographie — mesure électrique du cerveau par champ magnétique
- prévisibilité — possibilité de prévoir ce qui va arriver
- entropie — mesure de l'incertitude ou du nombre de possibilités
- surprisal — degré auquel un mot est inattendu
- corrélation — lien statistique entre deux informations
- structure grammaticale — organisation des mots selon les règles de langue
- groupe grammatical — ensemble de mots qui forment une unitégroupes grammaticaux
Astuce : survolez, mettez le focus ou touchez les mots en surbrillance dans l’article pour voir des définitions rapides pendant que vous lisez ou écoutez.
Questions de discussion
- Avez-vous déjà remarqué que vous anticipez des mots en lisant ou en parlant ? Donnez un exemple simple.
- Pensez-vous que comprendre la structure grammaticale aide à mieux prédire les mots dans une langue étrangère ? Pourquoi ?
- Comment ces résultats pourraient-ils changer la façon dont on conçoit les modèles de langage ou l'enseignement des langues ?
Articles liés
Un nouvel appareil mesure la viscosité du sang en temps réel
Des chercheurs de l’Université du Missouri ont mis au point une technologie non invasive qui surveille la viscosité du sang avec des ondes ultrasonores et un logiciel. Elle mesure aussi la densité et pourrait devenir portable.
Quatre outils d'IA pour améliorer le dépistage de la tuberculose
Lors de la Union World Conference on Lung Health à Copenhague (18-21 November), des chercheurs ont présenté quatre outils d'intelligence artificielle pour détecter et suivre la tuberculose. Ces innovations visent des tests plus rapides, moins chers et portables.
