Comment rendre les modèles de langage plus sûrs ^{CEFR B1}

Des chercheurs de North Carolina State University ont étudié l'alignement de sécurité des grands modèles de langage. Jung-Eun Kim, auteure correspondante, explique qu'ils ne veulent pas que les modèles indiquent comment se blesser ou comment nuire à autrui. L'équipe a identifié deux défis majeurs pour la sécurité des réponses.

Le premier défi est l'« alignment tax » : former un modèle à refuser les réponses dangereuses peut en réduire la précision. Le second défi est un alignement superficiel, où le modèle prend tôt une décision binaire sûr/dangereux et peut être contourné par la formulation d'une requête. Jianwei Li illustre cela avec un exemple sur le vol d'argent et note aussi que l'ajustement fin à un domaine peut affaiblir les garanties de sécurité.

Les chercheurs formulent la Superficial Safety Alignment Hypothesis (SSAH). Ils ont identifié des composants neuronaux précis qui influencent la décision d'exécuter ou de refuser une requête. En « gelant » ces neurones pendant le fine-tuning, le modèle conserve son comportement de sécurité initial tout en apprenant des tâches spécifiques, ce qui peut réduire l'alignment tax. Le travail sera présenté à ICLR2026 et le code est fourni en ligne.