Onderzoekers van North Carolina State University onderzochten hoe veiligheidsafstemming werkt in grote taalmodellen en testten nieuwe trainingsmethoden om onveilige output te verminderen zonder de prestaties te schaden. Jung-Eun Kim, correspondentie-auteur en assistant professor computerwetenschappen, benadrukte dat modellen geen instructies moeten geven voor zelfbeschadiging of schadelijk gedrag.
Het team noemde twee hoofdproblemen: de zogenaamde "alignment tax", waarbij veiligheidstraining de nauwkeurigheid kan verlagen, en een oppervlakkige veiligheidsafstemming die gebruikers soms kunnen omzeilen. Jianwei Li, eerste auteur en PhD-student, legde uit dat een model vroeg beslist of een verzoek veilig is. Hij gaf het voorbeeld van instructies om geld te stelen versus een vergelijkbare vraag met een zogenaamd behulpzaam doel. Ook merkte hij op dat fijnafstemming voor een specifiek domein de veiligheid kan verzwakken.
De onderzoekers formuleerden de hypothese van oppervlakkige veiligheidsafstemming (SSAH) en identificeerden veiligheidskritische neurale componenten. Ze toonden aan dat het bevriezen van die neuronen tijdens fijnafstemming veiligheid kan behouden en tegelijk de alignment tax kan verminderen. De resultaten werden gepresenteerd op ICLR2026 en relevante code is online beschikbaar.
Moeilijke woorden
- onderzoeker — iemand die wetenschappelijk onderzoek doetOnderzoekers
- veiligheidsafstemming — aanpassen van modellen om veilig gedrag te garanderen
- fijnafstemming — extra training van een model voor een taak
- neuron — een cel in een kunstmatig neuraal netwerkneuronen
- bevriezen — niet veranderen tijdens verdere training of aanpassing
- hypothese — een idee of verklaring die getest kan worden
Tip: beweeg de muisaanwijzer over gemarkeerde woorden in het artikel, of tik erop om snelle definities te zien terwijl je leest of luistert.
Discussievragen
- Denk je dat het bevriezen van veiligheidskritische neuronen in andere modellen ook nuttig kan zijn? Waarom wel of niet?
- Welke problemen zie je bij veiligheidsafstemming die de nauwkeurigheid van een model verlaagt?
- Als een model preciezer is maar soms onveilige instructies geeft, zou jij het dan gebruiken? Leg kort uit.
Gerelateerde artikelen
Eiwit maakt eierstokkankercellen resistent tegen chemotherapie
Onderzoekers ontdekten dat kankercellen hun interne skelet veranderen en een eiwit (TPPP3) gebruiken om resistent te worden tegen cisplatin. Het blokkeren van TPPP3 herstelt in modellen de gevoeligheid voor behandeling.
AI kan vroeg risico op ADHD bij kinderen signaleren
Onderzoekers laten zien dat kunstmatige intelligentie routinematige medische dossiers kan gebruiken om jaren vóór een diagnose het risico op ADHD in te schatten. Het hulpmiddel markeert kinderen voor extra aandacht, maar stelt geen diagnose.
Proef in Malawi zoekt eenvoudiger behandeling voor cryptocokkenmeningitis
Cryptokokkenmeningitis treft vooral mensen met HIV en veroorzaakt veel doden in Sub-Sahara Afrika. Een klinische proef in Kamuzu onderzoekt een makkelijker vorm van flucytosine en verwacht resultaten in 2027.
Hoe geldgedrag het huwelijksgeluk beïnvloedt
Onderzoekers van de University of Georgia onderzochten hoe uitgave- en spaarpatronen samenhangen met tevredenheid over huwelijk en financiën. Ze vonden dat partners die elkaar als spaarders zagen vaker meer huwelijksgeluk en financieel welbevinden rapporteerden.