Des chercheurs de Brown University, dirigés par Michael Lepori, ont étudié si les modèles de langage encodent une compréhension des contraintes du monde réel. Ils ont présenté les résultats à l'International Conference on Learning Representations à Rio de Janeiro.
Dans l'expérience, l'équipe a montré des phrases décrivant des événements de plausibilité variable: banal, improbable, impossible ou dénué de sens. Les exemples comprenaient « refroidir une boisson avec de la glace », « avec de la neige », « avec du feu » ou « avec hier ». Pour chaque phrase, les chercheurs ont analysé les états mathématiques internes du modèle, méthode appelée interprétabilité mécanistique.
Les tests, faits sur plusieurs modèles open-source, montrent que des modèles suffisamment grands forment des vecteurs internes distincts pour ces catégories. Ces vecteurs distinguaient des catégories proches avec environ 85 % de précision et reflétaient aussi l'incertitude observée chez les humains.
Mots difficiles
- encoder — mettre une information dans une représentation interneencodent
- contrainte — limite ou règle qui restreint une actioncontraintes
- plausibilité — degré de probabilité ou de réalisme d'un fait
- interprétabilité — capacité à expliquer le fonctionnement d'un modèle
- vecteur — suite de nombres représentant une informationvecteurs
- incertitude — manque de certitude ou confiance sur un résultat
- état — condition numérique interne d'un système ou modèleétats mathématiques internes
Astuce : survolez, mettez le focus ou touchez les mots en surbrillance dans l’article pour voir des définitions rapides pendant que vous lisez ou écoutez.
Questions de discussion
- Que pensez-vous du fait que les modèles reflètent l'incertitude observée chez les humains ? Expliquez en quelques phrases.
- Quels autres exemples de phrases plausibles, improbables ou impossibles proposeriez-vous pour tester un modèle ?
- Comment ces résultats pourraient-ils être utiles pour des applications réelles (par exemple assistants virtuels) ?
Articles liés
À Ngogo, des chimpanzés élargissent leur territoire et ont plus de naissances
Des chercheurs ont étudié la communauté de chimpanzés de Ngogo (Ouganda). Après avoir tué des groupes voisins et pris du territoire, les naissances ont augmenté (15 → 37) et la mortalité des nourrissons a chuté (41% → 8%).
Vacances d'hiver : apprendre avec les tâches quotidiennes
Jim Egenrieder, directeur des Thinkabit Labs de Virginia Tech, conseille d'utiliser des activités quotidiennes pendant les vacances d'hiver pour développer la réflexion, la planification et l'autonomie des enfants avec des expériences pratiques.
Pourquoi les modèles ratent la multiplication à quatre chiffres
Une étude montre que l'entraînement standard empêche certains modèles de langage de garder les valeurs intermédiaires nécessaires pour multiplier deux nombres à quatre chiffres. Une méthode appelée ICoT permet au modèle d'atteindre 100 % et de mémoriser ces étapes.
L’Ouganda doit réformer la science et l’innovation
Un rapport lancé le 21 juin dit que l’Ouganda doit réformer ses systèmes de science, technologie et innovation (STI) pour devenir un pays à revenu intermédiaire. Le texte souligne un écart entre les sexes et un manque de financement local.
