Forscher verbessern Sicherheit großer Sprachmodelle ^{CEFR B2}

Forschende der North Carolina State University analysieren, wie Sicherheitsausrichtung bei großen Sprachmodellen funktioniert, weil diese Modelle häufig Rat und Anleitungen liefern. Jung‑Eun Kim erläutert, dass man nicht will, dass Modelle Menschen zu Selbst‑ oder Fremdschaden anleiten. Das Team identifizierte zwei wiederkehrende Probleme: Zum einen kann Sicherheitstraining die Genauigkeit eines Modells mindern (die "alignment tax"). Zum anderen reagieren viele Modelle mit einer oberflächlichen Prüfung, die eine frühe, binäre Entscheidung über sicher oder unsicher trifft.

Jianwei Li nennt ein praktisches Beispiel: Eine Anfrage nach Anleitungen zum Geldstehlen wird meist abgelehnt, doch eine umformulierte Anfrage mit einem harmloseren Zweck kann eher akzeptiert werden. Aus diesen Beobachtungen entstand die Superficial Safety Alignment Hypothesis (SSAH), die erklärt, wie Modelle früh im Generierungsprozess ein binäres Sicherheitsignal bilden.

Das Team durchsuchte Modelle nach sicherheitskritischen Teilen und identifizierte konkrete neuronale Komponenten, die über Annahme oder Ablehnung von Anfragen mitentscheiden. Sie zeigten, dass das Einfrieren dieser Neuronen während der Feinabstimmung dem Modell erlaubt, sein ursprüngliches Sicherheitsverhalten zu behalten und gleichzeitig neue, anwendungsspezifische Aufgaben zu erlernen. Dieser Ansatz verringert die alignment tax und dient sowohl als konzeptueller Rahmen als auch als praktische Technik. Die Forschenden betonen die Notwendigkeit von Methoden, die Modelle erlauben, die Sicherheit während des gesamten Antwortprozesses erneut zu bewerten. Die Ergebnisse werden auf der ICLR2026 vorgestellt und relevanter Code ist online verfügbar.