Des chercheurs de North Carolina State University ont étudié la sécurité des grands modèles de langage. Jung-Eun Kim dit qu'ils ne veulent pas que ces modèles conseillent de se faire du mal ou aident à nuire à autrui. L'équipe a trouvé deux défis : l'entraînement à la sécurité peut réduire la précision (appelé « alignment tax ») et le contrôle peut être superficiel et contourné.
Jianwei Li donne un exemple simple : si on demande comment voler de l'argent, le modèle refuse ; mais si on dit que c'est pour aider des gens, le modèle peut donner l'information. Ils notent aussi que l'ajustement fin à un domaine peut affaiblir la sécurité.
Les chercheurs proposent l'hypothèse SSAH et identifient des neurones critiques. En gelant ces neurones lors du fine-tuning, le modèle garde sa sécurité initiale tout en apprenant de nouvelles tâches. Le travail sera présenté à ICLR2026 et le code est disponible en ligne.
Mots difficiles
- chercheur — personne qui fait des recherches scientifiqueschercheurs
- sécurité — protection contre le danger ou le risque
- précision — qualité d'être exact ou sans erreur
- geler — arrêter l'activité en rendant immobilegelant
- neurone — cellule du cerveau qui transmet des signauxneurones
- hypothèse — idée proposée pour expliquer quelque chose
- contourner — éviter une règle ou une protectioncontourné
Astuce : survolez, mettez le focus ou touchez les mots en surbrillance dans l’article pour voir des définitions rapides pendant que vous lisez ou écoutez.
Questions de discussion
- Est‑ce important que les modèles n'aident pas à nuire ? Pourquoi ?
- Que penses‑tu de l'idée de geler des neurones pour garder la sécurité ?
- Préférerais‑tu un modèle qui apprend beaucoup ou un modèle très sécurisé ? Explique.
Articles liés
Les chatbots d'IA peuvent influencer les opinions
Une étude montre que des réponses courtes de chatbots peuvent modifier les opinions sociales et politiques. Des cadres narratifs discrets et des biais d'entraînement dans les modèles suffisent à produire ce glissement, selon les chercheurs.
Les attaques personnelles au Congrès américain
Une étude analyse pourquoi des membres du Congrès utilisent des attaques personnelles et ce que cela leur apporte. Les chercheurs constatent que ces attaques attirent beaucoup l’attention médiatique mais n’améliorent pas le succès électoral ou législatif.
Un outil réduit l'animosité politique dans le fil X
Des chercheurs ont créé une extension qui réordonne le fil X pour faire descendre les messages d'animosité partisane, sans supprimer de publications. Dans des expériences, cela a rendu les participants plus chaleureux envers le parti opposé.
