Comment rendre les modèles de langage plus sûrs ^{CEFR B2}

Une équipe de North Carolina State University a analysé comment les grands modèles de langage appliquent la sécurité dans leurs réponses. Jung-Eun Kim insiste sur l'importance d'empêcher les modèles de conseiller de se blesser ou de fournir des informations pour nuire. Les chercheurs décrivent deux problèmes principaux : l'« alignment tax », où l'entraînement pour la sécurité réduit parfois la précision, et un alignement superficiel qui conduit le modèle à décider tôt, sur un signal binaire, si une demande est sûre ou dangereuse.

Jianwei Li donne un exemple concret : une requête directe pour voler de l'argent est probablement refusée, mais si la même intention est présentée comme « pour aider des gens », le modèle peut être plus enclin à fournir des instructions. L'équipe note aussi que l'ajustement fin (fine-tuning) vers un domaine spécifique peut affaiblir les garanties de sécurité initiales.

Pour expliquer ces phénomènes, les chercheurs proposent la Superficial Safety Alignment Hypothesis (SSAH) et ont cherché les parties critiques des modèles pour la sécurité. Ils identifient des neurones précis qui influencent la décision d'exécuter ou de refuser une requête et montrent que « geler » ces neurones lors du fine-tuning permet de conserver le comportement de sécurité initial tout en apprenant de nouvelles tâches. Cette approche peut réduire l'alignment tax tout en préservant l'alignement de sécurité. Le travail fournit un cadre conceptuel et une technique pratique, et souligne la nécessité de méthodes permettant aux modèles de réévaluer la sécurité pendant la génération des réponses. La recherche sera présentée à ICLR2026 et le code est disponible en ligne.

• Source : North Carolina State University
• Code et informations : https://ssa-h.github.io/