Onderzoekers van North Carolina State University onderzochten hoe veiligheidsafstemming werkt in grote taalmodellen en testten nieuwe trainingsmethoden om onveilige output te verminderen zonder de prestaties te schaden. Jung-Eun Kim, correspondentie-auteur en assistant professor computerwetenschappen, benadrukte dat modellen geen instructies moeten geven voor zelfbeschadiging of schadelijk gedrag.
Het team noemde twee hoofdproblemen: de zogenaamde "alignment tax", waarbij veiligheidstraining de nauwkeurigheid kan verlagen, en een oppervlakkige veiligheidsafstemming die gebruikers soms kunnen omzeilen. Jianwei Li, eerste auteur en PhD-student, legde uit dat een model vroeg beslist of een verzoek veilig is. Hij gaf het voorbeeld van instructies om geld te stelen versus een vergelijkbare vraag met een zogenaamd behulpzaam doel. Ook merkte hij op dat fijnafstemming voor een specifiek domein de veiligheid kan verzwakken.
De onderzoekers formuleerden de hypothese van oppervlakkige veiligheidsafstemming (SSAH) en identificeerden veiligheidskritische neurale componenten. Ze toonden aan dat het bevriezen van die neuronen tijdens fijnafstemming veiligheid kan behouden en tegelijk de alignment tax kan verminderen. De resultaten werden gepresenteerd op ICLR2026 en relevante code is online beschikbaar.
Moeilijke woorden
- onderzoeker — iemand die wetenschappelijk onderzoek doetOnderzoekers
- veiligheidsafstemming — aanpassen van modellen om veilig gedrag te garanderen
- fijnafstemming — extra training van een model voor een taak
- neuron — een cel in een kunstmatig neuraal netwerkneuronen
- bevriezen — niet veranderen tijdens verdere training of aanpassing
- hypothese — een idee of verklaring die getest kan worden
Tip: beweeg de muisaanwijzer over gemarkeerde woorden in het artikel, of tik erop om snelle definities te zien terwijl je leest of luistert.
Discussievragen
- Denk je dat het bevriezen van veiligheidskritische neuronen in andere modellen ook nuttig kan zijn? Waarom wel of niet?
- Welke problemen zie je bij veiligheidsafstemming die de nauwkeurigheid van een model verlaagt?
- Als een model preciezer is maar soms onveilige instructies geeft, zou jij het dan gebruiken? Leg kort uit.
Gerelateerde artikelen
AI-test voorspelt terugkeer van borstkanker
Onderzoekers rapporteren in Nature Communications een AI-test die het risico op terugkeer van borstkanker voorspelt. De test combineert klinische gegevens en pathologieruitslagen en kan sneller en goedkoper zijn dan huidige genomische tests.
Vroeg teken: slechte contrastgevoeligheid bij ouderen
Onderzoekers vinden dat moeite met het lezen van vervagende letters op een oogkaart een vroeg waarschuwingssignaal kan zijn voor zichtproblemen die routineonderzoeken soms missen. De studie koppelt een drempel op de Pelli-Robson kaart aan dagelijkse beperkingen bij oudere volwassenen.
Elektriciteit en internet blokkeren AI-toegang in Sub-Sahara Afrika
Onbetrouwbare elektriciteit en dure, trage internetverbindingen beperken het gebruik van kunstmatige intelligentie in Sub-Sahara Afrika. Daardoor hebben veel scholen, gezondheidscentra en startups weinig voordeel van AI.
