Des chercheurs de Brown University, dirigés par Michael Lepori, ont étudié si les modèles de langage encodent une compréhension des contraintes du monde réel. Ils ont présenté les résultats à l'International Conference on Learning Representations à Rio de Janeiro.
Dans l'expérience, l'équipe a montré des phrases décrivant des événements de plausibilité variable: banal, improbable, impossible ou dénué de sens. Les exemples comprenaient « refroidir une boisson avec de la glace », « avec de la neige », « avec du feu » ou « avec hier ». Pour chaque phrase, les chercheurs ont analysé les états mathématiques internes du modèle, méthode appelée interprétabilité mécanistique.
Les tests, faits sur plusieurs modèles open-source, montrent que des modèles suffisamment grands forment des vecteurs internes distincts pour ces catégories. Ces vecteurs distinguaient des catégories proches avec environ 85 % de précision et reflétaient aussi l'incertitude observée chez les humains.
Mots difficiles
- encoder — mettre une information dans une représentation interneencodent
- contrainte — limite ou règle qui restreint une actioncontraintes
- plausibilité — degré de probabilité ou de réalisme d'un fait
- interprétabilité — capacité à expliquer le fonctionnement d'un modèle
- vecteur — suite de nombres représentant une informationvecteurs
- incertitude — manque de certitude ou confiance sur un résultat
- état — condition numérique interne d'un système ou modèleétats mathématiques internes
Astuce : survolez, mettez le focus ou touchez les mots en surbrillance dans l’article pour voir des définitions rapides pendant que vous lisez ou écoutez.
Questions de discussion
- Que pensez-vous du fait que les modèles reflètent l'incertitude observée chez les humains ? Expliquez en quelques phrases.
- Quels autres exemples de phrases plausibles, improbables ou impossibles proposeriez-vous pour tester un modèle ?
- Comment ces résultats pourraient-ils être utiles pour des applications réelles (par exemple assistants virtuels) ?
Articles liés
La musaraigne rétrécit son cerveau pour survivre à l'hiver
Deux études montrent que la musaraigne commune rétrécit son cerveau et d'autres organes en hiver (phénomène de Dehnel) pour économiser de l'énergie. Les chercheurs relient ce changement à des altérations génétiques et chromosomiques.
Virtual Vet : un jeu pour apprendre la science à l'école primaire
Des chercheurs de l'University of Georgia ont créé Virtual Vet, un jeu où des élèves jouent des assistants vétérinaires pour pratiquer l'anatomie, la santé et le raisonnement. Les enfants qui ont joué ont obtenu de meilleurs résultats qu'avec des activités traditionnelles.
Aguada Fénix : un monument maya découvert au Tabasco
Une équipe dirigée par l'University of Arizona a annoncé en 2020 la découverte d'un immense monument à Aguada Fénix, Tabasco. Les fouilles montrent un aménagement rituel ancien avec des objets cérémoniels et des pigments placés par direction.