Wie de auteur is beïnvloedt AI-beoordelingen ^{CEFR B2}

Onderzoekers van de University of Zurich onderzochten hoe de identiteit van een vermeende auteur de beoordeling van dezelfde tekst door grote taalmodellen beïnvloedt. Ze gebruikten vier modellen — OpenAI o3-mini, Deepseek Reasoner, xAI Grok 2 en Mistral — en lieten elk model 50 verhalende uitspraken produceren over 24 controversiële onderwerpen. Voor de analyse verzamelden de onderzoekers 192’000 beoordelingen.

Als er geen broninformatie was, was de overeenstemming tussen de systemen hoog, boven 90% over de onderwerpen. Toen de onderzoekers echter fictieve bronnen toevoegden, daalde die overeenstemming sterk, hoewel de tekst identiek bleef. Alle modellen vertoonden een sterke anti-Chinese bias: de beoordelingen werden minder gunstig wanneer de auteur als iemand uit China werd opgegeven. Germani stelt dat dit oordeel soms optrad ondanks een logische en goed geschreven tekst.

Een concreet voorbeeld is geopolitiek: bij onderwerpen zoals de soevereiniteit van Taiwan verlaagde Deepseek de overeenstemming met 75% minder, alleen omdat het verwachtte dat een Chinese persoon een andere mening zou hebben. Verder blijkt dat modellen menselijke auteurs doorgaans meer vertrouwen dan teksten die zij denken door een andere AI te zijn geschreven; scores waren iets lager voor vermeende AI-auteurs.

De onderzoekers waarschuwen dat zulke verborgen vooroordelen gevolgen kunnen hebben voor contentmoderatie, werving, academische peer review en journalistiek. Germani en Spitale pleiten voor meer transparantie en governance en adviseren LLMs te gebruiken als hulpmiddelen voor redeneren, niet als vervangers: nuttige assistenten, maar nooit rechters. Het onderzoek verschijnt in Sciences Advances. Bron: University of Zurich.