Des chercheurs de Brown University, dirigés par Michael Lepori, ont étudié si les modèles de langage encodent une compréhension des contraintes du monde réel. Ils ont présenté les résultats à l'International Conference on Learning Representations à Rio de Janeiro.
Dans l'expérience, l'équipe a montré des phrases décrivant des événements de plausibilité variable: banal, improbable, impossible ou dénué de sens. Les exemples comprenaient « refroidir une boisson avec de la glace », « avec de la neige », « avec du feu » ou « avec hier ». Pour chaque phrase, les chercheurs ont analysé les états mathématiques internes du modèle, méthode appelée interprétabilité mécanistique.
Les tests, faits sur plusieurs modèles open-source, montrent que des modèles suffisamment grands forment des vecteurs internes distincts pour ces catégories. Ces vecteurs distinguaient des catégories proches avec environ 85 % de précision et reflétaient aussi l'incertitude observée chez les humains.
Mots difficiles
- encoder — mettre une information dans une représentation interneencodent
- contrainte — limite ou règle qui restreint une actioncontraintes
- plausibilité — degré de probabilité ou de réalisme d'un fait
- interprétabilité — capacité à expliquer le fonctionnement d'un modèle
- vecteur — suite de nombres représentant une informationvecteurs
- incertitude — manque de certitude ou confiance sur un résultat
- état — condition numérique interne d'un système ou modèleétats mathématiques internes
Astuce : survolez, mettez le focus ou touchez les mots en surbrillance dans l’article pour voir des définitions rapides pendant que vous lisez ou écoutez.
Questions de discussion
- Que pensez-vous du fait que les modèles reflètent l'incertitude observée chez les humains ? Expliquez en quelques phrases.
- Quels autres exemples de phrases plausibles, improbables ou impossibles proposeriez-vous pour tester un modèle ?
- Comment ces résultats pourraient-ils être utiles pour des applications réelles (par exemple assistants virtuels) ?
Articles liés
Perception de l'arrivée des véhicules par des personnes malvoyantes
Une étude a testé comment des adultes atteints de DMLA estiment l’arrivée de véhicules en utilisant la vue, le son ou les deux. Les résultats montrent des estimations proches de celles des personnes à vision normale et pas d’avantage quand vision et audition sont combinées.
Nouvelle caisse locale améliore la fermentation du cacao en Ouganda
À Kasawo, une caisse de fermentation fabriquée localement améliore la qualité du cacao et permet aux agriculteurs de mieux vendre et d’augmenter leurs revenus. Les chercheurs travaillent à améliorer le design et à étendre la distribution.
Une séance de réalité virtuelle réduit l’anxiété face à la mort
Une petite étude pilote montre qu’une courte séance de réalité virtuelle peut réduire nettement l’anxiété liée à la mort chez des étudiants, après une seule expérience immersive basée sur des témoignages d’expériences de mort imminente.