Des chercheurs de Brown University, présentés à l'International Conference on Learning Representations à Rio de Janeiro, ont exploré si les modèles de langage modernes représentent des contraintes causales du monde réel. Michael Lepori, doctorant et responsable de l'étude, indique avoir trouvé « des éléments montrant que les modèles linguistiques ont encodé, d'une certaine manière, les contraintes causales du monde réel. » Les auteurs ajoutent que ces représentations aident les modèles à prédire les jugements humains.
L'équipe a conçu une expérience où des phrases décrivent des événements de plausibilité variable — banal, improbable, impossible ou dénué de sens — par exemple « refroidir une boisson avec de la glace », « avec de la neige », « avec du feu » ou une formulation comme « avec hier ». Les chercheurs ont examiné les états mathématiques internes produits par l'IA grâce à l'interprétabilité mécanistique, une approche qui vise à rétroconcevoir ce que le modèle encode.
Les expériences, réalisées sur plusieurs modèles open-source (parmi eux GPT 2 d'Open AI, Llama 3.2 de Meta et Gemma 2 de Google), montrent que des modèles suffisamment grands développent des vecteurs internes distincts correspondant à des catégories de plausibilité. Ces vecteurs distinguaient des catégories proches, par exemple improbable contre impossible, avec environ 85 % de précision. Ils reflétaient aussi l'incertitude humaine, puisque pour des énoncés ambigus les sorties reproduisaient la division des jugements observée en enquêtes humaines. Les chercheurs notent que ces vecteurs commencent à apparaître dans des modèles de plus de 2 milliards de paramètres, une taille faible comparée aux modèles actuels de plus d'un billion de paramètres.
- L'interprétabilité mécanistique peut révéler ce que les modèles encodent.
- Les vecteurs correspondent aux jugements humains de plausibilité.
- Ces résultats peuvent aider au développement de modèles plus intelligents et plus fiables.
Mots difficiles
- contrainte — règle ou limite imposée à un systèmecontraintes
- causal — qui relie cause et effetcausales
- encoder — représenter une information dans un systèmeencodé
- plausibilité — degré de vraisemblance d'un événement
- interprétabilité mécanistique — méthode pour comprendre ce que calcule un modèle
- vecteur — suite de nombres internes au modèlevecteurs, vecteurs internes
- paramètre — valeur numérique qui règle un modèleparamètres
- rétroconcevoir — reconstruire la fonction interne d'un système
Astuce : survolez, mettez le focus ou touchez les mots en surbrillance dans l’article pour voir des définitions rapides pendant que vous lisez ou écoutez.
Questions de discussion
- Comment les vecteurs correspondant à la plausibilité pourraient-ils améliorer la fiabilité des modèles dans des applications réelles ? Donnez des exemples concrets.
- La distinction entre « improbable » et « impossible » était d'environ 85 % de précision. Pensez-vous que cette précision est suffisante pour des décisions importantes ? Pourquoi ?
- Quels bénéfices et quels risques voyez-vous à utiliser l'interprétabilité mécanistique pour expliquer le comportement des modèles d'IA au grand public ?
Articles liés
L'IA pour informer sur la santé sexuelle en Amérique latine
Des groupes et chercheurs au Pérou et en Argentine utilisent l'intelligence artificielle pour élargir l'accès à l'information sur la santé sexuelle et reproductive, en réduisant les barrières de langue, de stigmatisation et de disponibilité des services.
Lacunes dans les données scolaires et obstacles pour les filles, selon l'UNESCO
Un rapport de l'UNESCO du 27 avril montre des manques importants de données sur l'éducation dans les pays pauvres et signale que, malgré des progrès, certaines filles restent exclues. Les experts appellent à un suivi plus long et à des politiques ciblées.
Le cortisol renforce la mémoire des expériences émotionnelles
Une équipe de Yale a montré que le cortisol libéré sous stress modifie l'activité cérébrale et aide à retenir des expériences émotionnelles. Des participants ont pris de l'hydrocortisone ou un placebo avant de regarder des images en IRMf.
Une IA qui coache les étudiants en suture
Des chercheurs de Johns Hopkins ont créé une IA qui observe les gestes de suture et envoie un retour personnalisé. Une étude avec 12 étudiants montre que les étudiants expérimentés progressent plus vite avec ce coaching. L'équipe veut rendre l'outil utilisable à domicile.