Des chercheurs de Brown University ont cherché si les modèles de langage comprennent le monde réel. Ils ont présenté leurs travaux à l'International Conference on Learning Representations à Rio de Janeiro.
Pour tester cela, l'équipe a montré des phrases qui décrivent des événements plus ou moins plausibles. Les exemples allaient de « glace » à « neige », puis « feu » et des formulations sans sens comme « avec hier ».
Les chercheurs ont utilisé l'interprétabilité mécanistique, une méthode qui examine les états internes du modèle, et ont trouvé que les modèles assez grands distinguent les événements plausibles des autres.
Mots difficiles
- chercheur — Personne qui fait des recherches scientifiques.chercheurs
- modèle — Programme ou système qui imite un phénomène.modèles
- langage — Système de mots pour communiquer des idées.
- plausible — Qui semble possible ou raisonnable.plausibles
- interprétabilité mécanistique — Méthode pour étudier les mécanismes internes.
- état — Condition interne d'un système ou objet.états
- distinguer — Faire la différence entre deux choses.distinguent
Astuce : survolez, mettez le focus ou touchez les mots en surbrillance dans l’article pour voir des définitions rapides pendant que vous lisez ou écoutez.
Questions de discussion
- Penses-tu qu'un modèle de langage comprend le monde réel ? Pourquoi ?
- As-tu déjà lu ou entendu une phrase sans sens ? Donne un exemple.
Articles liés
À Ngogo, des chimpanzés élargissent leur territoire et ont plus de naissances
Des chercheurs ont étudié la communauté de chimpanzés de Ngogo (Ouganda). Après avoir tué des groupes voisins et pris du territoire, les naissances ont augmenté (15 → 37) et la mortalité des nourrissons a chuté (41% → 8%).
Vacances d'hiver : apprendre avec les tâches quotidiennes
Jim Egenrieder, directeur des Thinkabit Labs de Virginia Tech, conseille d'utiliser des activités quotidiennes pendant les vacances d'hiver pour développer la réflexion, la planification et l'autonomie des enfants avec des expériences pratiques.
Pourquoi les modèles ratent la multiplication à quatre chiffres
Une étude montre que l'entraînement standard empêche certains modèles de langage de garder les valeurs intermédiaires nécessaires pour multiplier deux nombres à quatre chiffres. Une méthode appelée ICoT permet au modèle d'atteindre 100 % et de mémoriser ces étapes.
L’Ouganda doit réformer la science et l’innovation
Un rapport lancé le 21 juin dit que l’Ouganda doit réformer ses systèmes de science, technologie et innovation (STI) pour devenir un pays à revenu intermédiaire. Le texte souligne un écart entre les sexes et un manque de financement local.
