Onderzoekers van de University of Zurich onderzochten hoe de identiteit van een vermeende auteur de beoordeling van dezelfde tekst door grote taalmodellen beïnvloedt. Ze gebruikten vier modellen — OpenAI o3-mini, Deepseek Reasoner, xAI Grok 2 en Mistral — en lieten elk model 50 verhalende uitspraken produceren over 24 controversiële onderwerpen. Voor de analyse verzamelden de onderzoekers 192’000 beoordelingen.
Als er geen broninformatie was, was de overeenstemming tussen de systemen hoog, boven 90% over de onderwerpen. Toen de onderzoekers echter fictieve bronnen toevoegden, daalde die overeenstemming sterk, hoewel de tekst identiek bleef. Alle modellen vertoonden een sterke anti-Chinese bias: de beoordelingen werden minder gunstig wanneer de auteur als iemand uit China werd opgegeven. Germani stelt dat dit oordeel soms optrad ondanks een logische en goed geschreven tekst.
Een concreet voorbeeld is geopolitiek: bij onderwerpen zoals de soevereiniteit van Taiwan verlaagde Deepseek de overeenstemming met 75% minder, alleen omdat het verwachtte dat een Chinese persoon een andere mening zou hebben. Verder blijkt dat modellen menselijke auteurs doorgaans meer vertrouwen dan teksten die zij denken door een andere AI te zijn geschreven; scores waren iets lager voor vermeende AI-auteurs.
De onderzoekers waarschuwen dat zulke verborgen vooroordelen gevolgen kunnen hebben voor contentmoderatie, werving, academische peer review en journalistiek. Germani en Spitale pleiten voor meer transparantie en governance en adviseren LLMs te gebruiken als hulpmiddelen voor redeneren, niet als vervangers: nuttige assistenten, maar nooit rechters. Het onderzoek verschijnt in Sciences Advances. Bron: University of Zurich.
Moeilijke woorden
- vermeend — als iets beschreven wordt maar niet zeker bewezenvermeende
- identiteit — wie iemand is of hoe iemand zich noemt
- overeenstemming — mate waarin meningen of beoordelingen gelijk zijn
- fictief — niet echt, bedacht of verzonnenfictieve
- vooroordeel — negatieve mening over een groep zonder bewijsvooroordelen
- transparantie — duidelijke openheid over processen of informatie
- contentmoderatie — regels en acties om online inhoud te controleren
- redeneren — denken stap voor stap om een conclusie te vormen
Tip: beweeg de muisaanwijzer over gemarkeerde woorden in het artikel, of tik erop om snelle definities te zien terwijl je leest of luistert.
Discussievragen
- Welke praktische gevolgen kunnen verborgen vooroordelen in taalmodellen hebben voor werving of journalistiek?
- Waarom pleiten de onderzoekers voor meer transparantie en governance bij het gebruik van LLMs?
- Hoe zou het verschil tussen vermeende menselijke en vermeende AI-auteurs jouw vertrouwen in teksten kunnen beïnvloeden? Geef voorbeelden.
Gerelateerde artikelen
Jacht lijkt geslacht van wilde kalkoenen te beïnvloeden
Nieuw onderzoek toont dat gebieden met actieve jacht meer vrouwelijke kalkoenenjongen opleveren. De onderzoekers volgden wilde kalkoenen meerdere jaren en vonden lagere overleving van mannetjes en een verschuiving naar meer vrouwtjes.
Wie wetenschappers zijn beïnvloedt publiek vertrouwen
Een nieuwe studie in Nature Human Behaviour laat zien dat demografische vertegenwoordiging onder wetenschappers invloed heeft op het vertrouwen van het Amerikaanse publiek. Onderzoekers onder leiding van James Druckman onderzochten verschillen tussen groepen en gevolgen voor acceptatie van wetenschappelijke aanbevelingen.
