Une étude publiée dans Nature Neuroscience montre que le cerveau humain anticipe les mots différemment des grands modèles de langage (LLMs). Les chercheurs ont testé des locuteurs mandarins et ont enregistré leur activité cérébrale avec la magnétoencéphalographie (MEG). Ils ont aussi utilisé des tests de Cloze et des données supplémentaires de patients exposés à l’anglais.
Pour quantifier la prévisibilité, l’équipe a employé des LLMs et calculé l’entropie et le surprisal. Une entropie élevée signifie que le contexte laisse plusieurs mots possibles. Un surprisal élevé indique qu’un mot est inattendu dans un contexte donné.
En comparant les réponses cérébrales et les prédictions des modèles, les auteurs ont trouvé que la corrélation varie selon la position du mot dans la structure grammaticale. Ils en déduisent que le cerveau anticipe par groupes grammaticaux plutôt que par simple probabilité du mot suivant.
Mots difficiles
- anticiper — prévoir quelque chose avant qu'il n'arriveanticipe
- magnétoencéphalographie — mesure électrique du cerveau par champ magnétique
- prévisibilité — possibilité de prévoir ce qui va arriver
- entropie — mesure de l'incertitude ou du nombre de possibilités
- surprisal — degré auquel un mot est inattendu
- corrélation — lien statistique entre deux informations
- structure grammaticale — organisation des mots selon les règles de langue
- groupe grammatical — ensemble de mots qui forment une unitégroupes grammaticaux
Astuce : survolez, mettez le focus ou touchez les mots en surbrillance dans l’article pour voir des définitions rapides pendant que vous lisez ou écoutez.
Questions de discussion
- Avez-vous déjà remarqué que vous anticipez des mots en lisant ou en parlant ? Donnez un exemple simple.
- Pensez-vous que comprendre la structure grammaticale aide à mieux prédire les mots dans une langue étrangère ? Pourquoi ?
- Comment ces résultats pourraient-ils changer la façon dont on conçoit les modèles de langage ou l'enseignement des langues ?
Articles liés
Des algorithmes pour comprendre la transformation du propane en propylène
Des chercheurs de l'Université de Rochester ont développé des algorithmes qui montrent, au niveau atomique, comment le propane devient propylène. Les résultats, publiés dans le Journal of the American Chemical Society, peuvent aider d'autres réactions industrielles.
Perception de l'arrivée des véhicules par des personnes malvoyantes
Une étude a testé comment des adultes atteints de DMLA estiment l’arrivée de véhicules en utilisant la vue, le son ou les deux. Les résultats montrent des estimations proches de celles des personnes à vision normale et pas d’avantage quand vision et audition sont combinées.
Spray nasal qui réduit des signes du vieillissement cérébral
Des chercheurs ont mis au point un spray nasal expérimental qui délivre des vésicules contenant des microARN au cerveau. En modèles précliniques, deux doses ont réduit l'inflammation, restauré les mitochondries et amélioré la mémoire pendant des semaines à mois.
Certains parents préfèrent le téléphone fixe pour leurs enfants
Des psychologues de Virginia Tech expliquent que beaucoup de familles reviennent au téléphone fixe par inquiétude face aux effets des smartphones. Ils recommandent discussion, encadrement et quelques règles avant d'offrir un téléphone personnel.