Une étude publiée dans Nature Neuroscience montre que le cerveau humain anticipe les mots différemment des grands modèles de langage (LLMs). Les chercheurs ont testé des locuteurs mandarins et ont enregistré leur activité cérébrale avec la magnétoencéphalographie (MEG). Ils ont aussi utilisé des tests de Cloze et des données supplémentaires de patients exposés à l’anglais.
Pour quantifier la prévisibilité, l’équipe a employé des LLMs et calculé l’entropie et le surprisal. Une entropie élevée signifie que le contexte laisse plusieurs mots possibles. Un surprisal élevé indique qu’un mot est inattendu dans un contexte donné.
En comparant les réponses cérébrales et les prédictions des modèles, les auteurs ont trouvé que la corrélation varie selon la position du mot dans la structure grammaticale. Ils en déduisent que le cerveau anticipe par groupes grammaticaux plutôt que par simple probabilité du mot suivant.
Mots difficiles
- anticiper — prévoir quelque chose avant qu'il n'arriveanticipe
- magnétoencéphalographie — mesure électrique du cerveau par champ magnétique
- prévisibilité — possibilité de prévoir ce qui va arriver
- entropie — mesure de l'incertitude ou du nombre de possibilités
- surprisal — degré auquel un mot est inattendu
- corrélation — lien statistique entre deux informations
- structure grammaticale — organisation des mots selon les règles de langue
- groupe grammatical — ensemble de mots qui forment une unitégroupes grammaticaux
Astuce : survolez, mettez le focus ou touchez les mots en surbrillance dans l’article pour voir des définitions rapides pendant que vous lisez ou écoutez.
Questions de discussion
- Avez-vous déjà remarqué que vous anticipez des mots en lisant ou en parlant ? Donnez un exemple simple.
- Pensez-vous que comprendre la structure grammaticale aide à mieux prédire les mots dans une langue étrangère ? Pourquoi ?
- Comment ces résultats pourraient-ils changer la façon dont on conçoit les modèles de langage ou l'enseignement des langues ?
Articles liés
Vulnérabilités dans des gestionnaires de mots de passe en ligne
Des chercheurs de l'ETH Zurich ont testé trois gestionnaires de mots de passe en ligne et montré que des serveurs compromis pouvaient permettre de lire ou modifier des coffres chiffrés. Ils ont conseillé des corrections et des audits.
Une séance de réalité virtuelle réduit l’anxiété face à la mort
Une petite étude pilote montre qu’une courte séance de réalité virtuelle peut réduire nettement l’anxiété liée à la mort chez des étudiants, après une seule expérience immersive basée sur des témoignages d’expériences de mort imminente.
L'activité du cerveau change selon le cycle quotidien
Des chercheurs ont combiné méthodes expérimentales et analyses informatiques pour suivre, cellule par cellule, l'activité du cerveau de souris. Ils montrent un déplacement d'activité des zones internes vers le cortex et veulent mieux comprendre la fatigue.