Des chercheurs de l'University of Chicago et d'autres équipes ont comparé deux méthodes d'entraînement pour des modèles de langage. Ils demandent aux modèles de multiplier deux nombres à quatre chiffres. Avec l'affinage standard, les modèles ne réussissent presque pas la tâche. Avec la méthode Implicit Chain of Thought, appelée ICoT, le modèle a obtenu une précision de 100 %.
Les auteurs ont trouvé que le modèle ICoT garde des valeurs intermédiaires et organise l'attention pour réutiliser ces valeurs. Ils ont aussi ajouté un objectif d'entraînement qui suit les sommes courantes. Cet ajout a fait passer un petit modèle à deux couches à 99 % sans supervision explicite par chaîne de pensée. Les chercheurs concluent que l'architecture et les objectifs d'entraînement sont importants.
Mots difficiles
- entraînement — Processus pour apprendre un modèle informatique
- affinage — Ajustement d'un modèle après l'entraînement initialaffinage standard
- précision — Pourcentage de réponses correctes du modèle
- valeur intermédiaire — Nombre ou information gardée pendant un calculvaleurs intermédiaires
- attention — Mécanisme du modèle pour choisir l'information importante
- objectif d'entraînement — But ou tâche que le modèle doit apprendre
Astuce : survolez, mettez le focus ou touchez les mots en surbrillance dans l’article pour voir des définitions rapides pendant que vous lisez ou écoutez.
Questions de discussion
- Penses-tu que garder des valeurs intermédiaires peut aider pour d'autres tâches ? Pourquoi ?
- Quand tu résous un calcul, aimes-tu montrer toutes tes étapes ? Explique brièvement.
- As-tu déjà appris quelque chose avec un entraînement progressif ? Donne un petit exemple.
Articles liés
Deux types de microglies contrôlent l’anxiété chez la souris
Des chercheurs de l’Université de Utah montrent que deux populations de microglies ont des rôles opposés sur l’anxiété chez la souris. Les résultats, publiés dans Molecular Psychiatry, ouvrent des pistes pour de nouvelles thérapies, avec prudence.
GLO1, une protéine qui protège le cerveau contre la dégénérescence
Des chercheurs de Yale montrent que la protéine GLO1 aide à limiter les hausses nocives de calcium dans les neurones. Son activité augmente chez les jeunes animaux puis baisse avec l’âge, et la mémoire souffre quand GLO1 diminue.
Des microbes dans les pellets de termites pour dater une infestation
Une étude de l'University of California, Riverside montre que l'ADN microbien des pellets de termites diminue avec le temps. Les chercheurs proposent d'utiliser cette signature pour créer un test rapide sur site et détecter l'ancienneté d'une infestation.
Des contrôleurs d'élite maintiennent le VIH indétectable
Un petit groupe de personnes vivant avec le VIH parvient à garder le virus indétectable sans antirétroviraux. Les scientifiques étudient leur génétique et leurs mécanismes pour trouver de nouveaux traitements et mieux comprendre d’autres virus.
