Des chercheurs de Brown University, dirigés par Michael Lepori, ont étudié si les modèles de langage encodent une compréhension des contraintes du monde réel. Ils ont présenté les résultats à l'International Conference on Learning Representations à Rio de Janeiro.
Dans l'expérience, l'équipe a montré des phrases décrivant des événements de plausibilité variable: banal, improbable, impossible ou dénué de sens. Les exemples comprenaient « refroidir une boisson avec de la glace », « avec de la neige », « avec du feu » ou « avec hier ». Pour chaque phrase, les chercheurs ont analysé les états mathématiques internes du modèle, méthode appelée interprétabilité mécanistique.
Les tests, faits sur plusieurs modèles open-source, montrent que des modèles suffisamment grands forment des vecteurs internes distincts pour ces catégories. Ces vecteurs distinguaient des catégories proches avec environ 85 % de précision et reflétaient aussi l'incertitude observée chez les humains.
Mots difficiles
- encoder — mettre une information dans une représentation interneencodent
- contrainte — limite ou règle qui restreint une actioncontraintes
- plausibilité — degré de probabilité ou de réalisme d'un fait
- interprétabilité — capacité à expliquer le fonctionnement d'un modèle
- vecteur — suite de nombres représentant une informationvecteurs
- incertitude — manque de certitude ou confiance sur un résultat
- état — condition numérique interne d'un système ou modèleétats mathématiques internes
Astuce : survolez, mettez le focus ou touchez les mots en surbrillance dans l’article pour voir des définitions rapides pendant que vous lisez ou écoutez.
Questions de discussion
- Que pensez-vous du fait que les modèles reflètent l'incertitude observée chez les humains ? Expliquez en quelques phrases.
- Quels autres exemples de phrases plausibles, improbables ou impossibles proposeriez-vous pour tester un modèle ?
- Comment ces résultats pourraient-ils être utiles pour des applications réelles (par exemple assistants virtuels) ?
Articles liés
Risque des lacs glaciaires et partage des données au Hindou Kouch‑Himalaya
Le réchauffement crée de nouveaux lacs glaciaires dans la région Hindou Kouch‑Himalaya. Les scientifiques disent que le manque de partage des données et les tensions politiques ralentissent les alertes et augmentent les risques pour les populations en aval.
