AI-modellen beoordelen teksten anders afhankelijk van de auteur ^{CEFR B1}

Een recent onderzoek onthulde dat grote taalmodellen (LLM's) hun oordeel aanpassen op basis van de auteur. Ondanks dat de inhoud van de teksten hetzelfde blijft, blijkt dat ze bevooroordeelde beoordelingen geven indien de oorsprong van de tekst bekend is. Het onderzoek toont dat LLM's een sterke anti-Chinese vooringenomenheid hebben, zelfs wanneer de auteur hypothetisch een Chinese persoon is.

Wanneer informatie over de auteur werd onthuld, verminderde de overeenstemming tussen de verschillende LLM's aanzienlijk. In feite daalde de overeenstemming met de inhoud van de tekst tot 75% wanneer een Chinese auteur werd gesuggereerd, zelfs als de argumenten logisch waren.

Daarnaast blijkt uit het onderzoek dat LLM's mensen liever geloven dan andere AI-modellen. De bevindingen wijzen op een ingebouwde wantrouwen jegens machinegegenereerde inhoud, wat problematisch kan zijn in contexten zoals het modereren van inhoud of wervingsprocessen. De onderzoekers pleiten voor meer transparantie in hoe AI informatie evalueert, om dit soort verborgen vooroordelen te voorkomen.

Voordat AI in gevoelige sociale of politieke situaties wordt gebruikt, moet er aandacht zijn voor deze vooringenomenheid.