Des chercheurs de Brown University, dirigés par Michael Lepori, ont étudié si les modèles de langage encodent une compréhension des contraintes du monde réel. Ils ont présenté les résultats à l'International Conference on Learning Representations à Rio de Janeiro.
Dans l'expérience, l'équipe a montré des phrases décrivant des événements de plausibilité variable: banal, improbable, impossible ou dénué de sens. Les exemples comprenaient « refroidir une boisson avec de la glace », « avec de la neige », « avec du feu » ou « avec hier ». Pour chaque phrase, les chercheurs ont analysé les états mathématiques internes du modèle, méthode appelée interprétabilité mécanistique.
Les tests, faits sur plusieurs modèles open-source, montrent que des modèles suffisamment grands forment des vecteurs internes distincts pour ces catégories. Ces vecteurs distinguaient des catégories proches avec environ 85 % de précision et reflétaient aussi l'incertitude observée chez les humains.
Mots difficiles
- encoder — mettre une information dans une représentation interneencodent
- contrainte — limite ou règle qui restreint une actioncontraintes
- plausibilité — degré de probabilité ou de réalisme d'un fait
- interprétabilité — capacité à expliquer le fonctionnement d'un modèle
- vecteur — suite de nombres représentant une informationvecteurs
- incertitude — manque de certitude ou confiance sur un résultat
- état — condition numérique interne d'un système ou modèleétats mathématiques internes
Astuce : survolez, mettez le focus ou touchez les mots en surbrillance dans l’article pour voir des définitions rapides pendant que vous lisez ou écoutez.
Questions de discussion
- Que pensez-vous du fait que les modèles reflètent l'incertitude observée chez les humains ? Expliquez en quelques phrases.
- Quels autres exemples de phrases plausibles, improbables ou impossibles proposeriez-vous pour tester un modèle ?
- Comment ces résultats pourraient-ils être utiles pour des applications réelles (par exemple assistants virtuels) ?
Articles liés
Pourquoi des volcans riches en gaz n’explosent pas toujours
De nouvelles recherches montrent que des bulles de gaz peuvent se former par cisaillement dans le conduit volcanique et créer des canaux de dégazage. Cela explique pourquoi des volcans riches en gaz ont parfois des coulées calmes.
Nouvelle caisse locale améliore la fermentation du cacao en Ouganda
À Kasawo, une caisse de fermentation fabriquée localement améliore la qualité du cacao et permet aux agriculteurs de mieux vendre et d’augmenter leurs revenus. Les chercheurs travaillent à améliorer le design et à étendre la distribution.
Deux novae vues en images directes
Des astronomes ont obtenu, quelques jours après l’éruption, des images directes de deux novae. Les images révèlent des éjections multiples et, pour l’une des novae, une expulsion retardée du gaz confirmée par des observations gamma et spectroscopiques.
Des scientifiques africains appellent à innover et financer localement
Un groupe de dirigeants scientifiques africains demande que l’Afrique conçoive et finance ses propres innovations médicales pour améliorer la santé et réduire sa dépendance à des financements internationaux qui diminuent.
