Onderzoekers van North Carolina State University publiceerden resultaten over veiligheidsafstemming in grote taalmodellen en presenteerden nieuwe trainingsmethoden die onveilige output verminderen zonder modelprestaties te verliezen. Jung-Eun Kim, correspondentie-auteur en assistant professor computerwetenschappen, benadrukte dat modellen geen advies moeten geven dat mensen kan schaden, zoals zelfbeschadiging of instructies voor gevaarlijk gedrag.
Het team signaleerde twee belangrijke problemen. Ten eerste bestaat de "alignment tax": veiligheidstraining kan de nauwkeurigheid van een model verlagen. Ten tweede gebruiken veel modellen een oppervlakkige veiligheidscontrole die vroeg in het generatieproces een binair veilig/onveilig-signaal hanteert en die gebruikers soms weten te omzeilen. Jianwei Li, eerste auteur en PhD-student, illustreerde dit met een voorbeeld: een directe vraag om geld te stelen wordt vaak geweigerd, maar dezelfde informatie kan verschijnen als de intentie als behulpzaam wordt geformuleerd. Ook wees hij erop dat fijnafstemming voor een specifiek domein de veiligheid kan verzwakken.
Op basis van deze observaties stelden de onderzoekers de hypothese van oppervlakkige veiligheidsafstemming (SSAH) voor en zochten ze naar veiligheidskritische delen in de modellen. Ze identificeerden specifieke neurale componenten die bepalen of een verzoek wordt uitgevoerd of geweigerd en lieten zien dat het bevriezen van die neuronen tijdens fijnafstemming het oorspronkelijke veiligheidsgedrag behoudt terwijl het model nieuwe domeintaakjes leert. Volgens het team biedt dit zowel een conceptueel kader als een praktische techniek, en zij benadrukken de behoefte aan methoden waarmee modellen tijdens het hele antwoordproces opnieuw kunnen beoordelen of iets veilig is. De resultaten zijn gepresenteerd op ICLR2026 en relevante code staat op https://ssa-h.github.io/. Bron: North Carolina State University.
Moeilijke woorden
- veiligheidsafstemming — Aanpassen van modellen om risicovol gedrag te voorkomen
- alignment tax — Nauwkeurigheidsverlies door extra veiligheidstraining van modellen
- oppervlakkige veiligheidscontrole — Eenvoudige controle vroeg in het generatieproces
- fijnafstemming — Aanpassen van modelparameters voor specifieke taken
- neurale component — Delen van een netwerk die beslissingen beïnvloedenneurale componenten
- bevriezen — Niet aanpassen van onderdelen tijdens training of afstemming
Tip: beweeg de muisaanwijzer over gemarkeerde woorden in het artikel, of tik erop om snelle definities te zien terwijl je leest of luistert.
Discussievragen
- Wat zijn volgens jou voordelen en beperkingen van het bevriezen van neuronen tijdens fijnafstemming? Geef concrete voorbeelden.
- Waarom kan een binair veilig/onveilig-signaal gebruikers aanzetten om beperkingen te omzeilen? Welke gevolgen kan dat hebben voor gebruikers en ontwikkelaars?
- Welke eigenschappen zou een betere veiligheidscontrole moeten hebben om opnieuw te beoordelen of iets veilig is tijdens het hele antwoordproces?
Gerelateerde artikelen
AI kan vroeg risico op ADHD bij kinderen signaleren
Onderzoekers laten zien dat kunstmatige intelligentie routinematige medische dossiers kan gebruiken om jaren vóór een diagnose het risico op ADHD in te schatten. Het hulpmiddel markeert kinderen voor extra aandacht, maar stelt geen diagnose.
Groepering van Engelsleerlingen beïnvloedt schoolresultaten
Twee studies onderzochten het samenplaatsen van leerlingen die Engels leren. Eén studie gebruikte gegevens van 31,303 middelbare scholieren in New York; een andere deed een gerandomiseerd basisschoolonderzoek met 84 leerlingen.
Kleine vertragingen kunnen misinformatie verminderen
Onderzoekers van de University of Copenhagen stellen voor delen iets moeilijker te maken. Een korte pauze en een kort leerelement, zoals een pop-upquiz, vertragen verspreiding en kunnen de kwaliteit van gedeelde berichten verbeteren.
Sojaboonolie gekoppeld aan gewichtstoename bij muizen
Onderzoekers van de University of California, Riverside vonden dat muizen op een vetrijk dieet met veel sojaboonolie duidelijk aankwamen. Een genetisch gewijzigde muis met een andere leverproteïne bleef slank en had andere oxylipinewaarden.