L’étude, publiée dans Nature Neuroscience, interroge l’idée selon laquelle les grands modèles de langage (LLMs) fonctionnent comme le cerveau humain. Les auteurs, qui incluent David Poeppel, ont mené plusieurs expériences auprès de locuteurs mandarins et ont enregistré les signaux cérébraux avec la magnétoencéphalographie (MEG). Ils ont complété ces données par des tests de Cloze et par des enregistrements de participants exposés à l’anglais pour vérifier la généralité des résultats.
Les chercheurs ont utilisé des LLMs pour estimer la prévisibilité des mots via deux grandeurs : l’entropie, qui reflète le nombre de mots possibles dans un contexte, et le surprisal, qui mesure l’inattendu d’un mot. Par exemple, la suite après « J’ai vu un » présente une entropie plus élevée que la suite après « Je me suis assis sur un », et « chat » est plus surprenant dans le second contexte.
En comparant les prédictions des modèles et les réponses cérébrales aux mêmes phrases, l’équipe montre que les corrélations ne sont pas uniformes : elles dépendent de la position du mot dans la structure grammaticale. Les résultats indiquent une sensibilité du cerveau aux constituants grammaticaux et suggèrent que la prédiction humaine s’appuie sur des unités organisationnelles plus larges que le seul mot suivant.
- Méthodes : locuteurs mandarins, MEG, tests de Cloze.
- Analyses : LLMs pour entropie et surprisal.
- Conclusion : prédiction modulée par constituants grammaticaux.
Mots difficiles
- magnétoencéphalographie — méthode d'enregistrement des champs magnétiques cérébraux
- entropie — mesure du nombre de mots possibles dans un contexte
- surprisal — mesure de l'inattendu d'un mot dans un contexte
- constituant — élément d'une structure linguistique plus largeconstituants
- prévisibilité — capacité à anticiper quel mot viendra ensuite
- locuteur — personne qui parle une languelocuteurs
- corrélation — lien statistique entre deux mesures ou variablescorrélations
- moduler — changer ou adapter l'intensité ou la façonmodulée
Astuce : survolez, mettez le focus ou touchez les mots en surbrillance dans l’article pour voir des définitions rapides pendant que vous lisez ou écoutez.
Questions de discussion
- Que pensez-vous de l'idée que le cerveau utilise des constituants grammaticaux pour prédire le langage ? Donnez un exemple.
- Quels avantages et quelles limites voyez-vous à comparer les LLMs au cerveau humain pour étudier la prédiction linguistique ?
- Pourquoi les chercheurs ont-ils inclus des locuteurs mandarins et des participants exposés à l'anglais ? Quelles différences cela peut-il révéler ?
Articles liés
Vulnérabilités dans des gestionnaires de mots de passe en ligne
Des chercheurs de l'ETH Zurich ont testé trois gestionnaires de mots de passe en ligne et montré que des serveurs compromis pouvaient permettre de lire ou modifier des coffres chiffrés. Ils ont conseillé des corrections et des audits.
Une séance de réalité virtuelle réduit l’anxiété face à la mort
Une petite étude pilote montre qu’une courte séance de réalité virtuelle peut réduire nettement l’anxiété liée à la mort chez des étudiants, après une seule expérience immersive basée sur des témoignages d’expériences de mort imminente.
L'activité du cerveau change selon le cycle quotidien
Des chercheurs ont combiné méthodes expérimentales et analyses informatiques pour suivre, cellule par cellule, l'activité du cerveau de souris. Ils montrent un déplacement d'activité des zones internes vers le cortex et veulent mieux comprendre la fatigue.