Des chercheurs de l'University of Chicago et d'autres équipes ont comparé deux méthodes d'entraînement pour des modèles de langage. Ils demandent aux modèles de multiplier deux nombres à quatre chiffres. Avec l'affinage standard, les modèles ne réussissent presque pas la tâche. Avec la méthode Implicit Chain of Thought, appelée ICoT, le modèle a obtenu une précision de 100 %.
Les auteurs ont trouvé que le modèle ICoT garde des valeurs intermédiaires et organise l'attention pour réutiliser ces valeurs. Ils ont aussi ajouté un objectif d'entraînement qui suit les sommes courantes. Cet ajout a fait passer un petit modèle à deux couches à 99 % sans supervision explicite par chaîne de pensée. Les chercheurs concluent que l'architecture et les objectifs d'entraînement sont importants.
Mots difficiles
- entraînement — Processus pour apprendre un modèle informatique
- affinage — Ajustement d'un modèle après l'entraînement initialaffinage standard
- précision — Pourcentage de réponses correctes du modèle
- valeur intermédiaire — Nombre ou information gardée pendant un calculvaleurs intermédiaires
- attention — Mécanisme du modèle pour choisir l'information importante
- objectif d'entraînement — But ou tâche que le modèle doit apprendre
Astuce : survolez, mettez le focus ou touchez les mots en surbrillance dans l’article pour voir des définitions rapides pendant que vous lisez ou écoutez.
Questions de discussion
- Penses-tu que garder des valeurs intermédiaires peut aider pour d'autres tâches ? Pourquoi ?
- Quand tu résous un calcul, aimes-tu montrer toutes tes étapes ? Explique brièvement.
- As-tu déjà appris quelque chose avec un entraînement progressif ? Donne un petit exemple.
Articles liés
Un outil pour accélérer le diagnostic de l’autisme dans le Missouri
Des chercheurs du Missouri ont testé CanvasDx, un dispositif approuvé par la FDA qui utilise l’IA pour aider au diagnostic de l’autisme. L’étude reporte des diagnostics plus précoces et des résultats déterminés pour 52 % des patients.
L'IA et le travail : ce que disent les historiens
Des historiens étudient comment les précédentes inventions ont changé le travail pour éclairer les inquiétudes liées à l'intelligence artificielle. Un message viral et des outils très rapides relancent le débat sur l'emploi, la réglementation et la société.
Quand les besoins psychologiques aident à mieux boire
Une recherche montre que trois besoins psychologiques — autonomie, compétence et lien social — sont liés à une consommation d'alcool plus responsable. Les études ont porté sur des étudiants et sur 1,700 adultes suivis pendant deux ans.
Pays d'Amérique latine s'engagent sur l'éthique de l'IA
Les 25 et 26 juin, un sommet en République dominicaine a adopté la Déclaration de Saint-Domingue pour coopérer sur l'éthique de l'IA. La déclaration, soutenue par l'UNESCO et la banque régionale, fixe une feuille de route pour 2026-2027.