Des chercheurs de l'University of Chicago et d'autres équipes ont comparé deux méthodes d'entraînement pour des modèles de langage. Ils demandent aux modèles de multiplier deux nombres à quatre chiffres. Avec l'affinage standard, les modèles ne réussissent presque pas la tâche. Avec la méthode Implicit Chain of Thought, appelée ICoT, le modèle a obtenu une précision de 100 %.
Les auteurs ont trouvé que le modèle ICoT garde des valeurs intermédiaires et organise l'attention pour réutiliser ces valeurs. Ils ont aussi ajouté un objectif d'entraînement qui suit les sommes courantes. Cet ajout a fait passer un petit modèle à deux couches à 99 % sans supervision explicite par chaîne de pensée. Les chercheurs concluent que l'architecture et les objectifs d'entraînement sont importants.
Mots difficiles
- entraînement — Processus pour apprendre un modèle informatique
- affinage — Ajustement d'un modèle après l'entraînement initialaffinage standard
- précision — Pourcentage de réponses correctes du modèle
- valeur intermédiaire — Nombre ou information gardée pendant un calculvaleurs intermédiaires
- attention — Mécanisme du modèle pour choisir l'information importante
- objectif d'entraînement — But ou tâche que le modèle doit apprendre
Astuce : survolez, mettez le focus ou touchez les mots en surbrillance dans l’article pour voir des définitions rapides pendant que vous lisez ou écoutez.
Questions de discussion
- Penses-tu que garder des valeurs intermédiaires peut aider pour d'autres tâches ? Pourquoi ?
- Quand tu résous un calcul, aimes-tu montrer toutes tes étapes ? Explique brièvement.
- As-tu déjà appris quelque chose avec un entraînement progressif ? Donne un petit exemple.
Articles liés
Patch biodégradable pour aider le cœur après une crise cardiaque
Des chercheurs présentent un patch biodégradable avec des micro-aiguilles qui délivrent l’interleukine-4 directement sur le cœur blessé. Le traitement favorise la réparation locale, limite les effets dans le reste du corps et nécessite une chirurgie pour l’instant.
« Vibe coding » : l'IA et le code vulnérable
Des chercheurs alertent sur le « vibe coding », un style de programmation où des outils d'IA produisent du code non sécurisé. Un radar développé par Georgia Tech détecte et suit ces vulnérabilités pour mieux les comprendre et les prévenir.
Un matériau qui utilise la lumière pour éliminer les polluants de l'eau
Des chercheurs ont créé un matériau qui, exposé à la lumière, décompose plusieurs polluants de l'eau, y compris les PFAS. Le dispositif combine des réseaux organiques covalents avec un film de nitrure de bore et fonctionne sans métaux.
SEWA : un système satellitaire d'alerte précoce pour l'Afrique
Un nouveau système d'alerte par satellite, SEWA, a été lancé lors d'un forum à Windhoek (23–27 juin). SEWA vise à renforcer les alertes multi-risques et à améliorer l'accès aux données pour gouvernements, organisations et communautés.
