Modelos de linguagem mudam avaliações quando sabem quem escreveu o texto ^{CEFR B2}

Um estudo da University of Zurich por Federico Germani e Giovanni Spitale mostra que grandes modelos de linguagem mudam seus julgamentos quando recebem informação sobre quem escreveu um texto. Os autores pediram a quatro LLMs—OpenAI o3-mini, Deepseek Reasoner, xAI Grok 2 e Mistral—que gerassem cinquenta enunciados narrativos sobre 24 tópicos controversos, entre eles mandatos de vacinação, geopolítica e políticas de mudança climática. Em seguida, coletaram 192’000 avaliações para comparar respostas sob diferentes condições de atribuição de autoria.

Quando nenhuma fonte foi dada, os modelos concordaram entre si em mais de 90% dos casos. Mas, ao acrescentar fontes fictícias, apareceu um viés oculto: a concordância entre sistemas caiu acentuadamente e por vezes desapareceu, mesmo com o mesmo texto. O efeito mais notável foi um viés anti-chinês em todos os modelos, inclusive no Deepseek, que é chinês. Germani observa que esse julgamento menos favorável ocorreu mesmo quando o argumento era lógico e bem escrito.

Em temas como a soberania de Taiwan, o Deepseek reduziu a concordância em até 75% simplesmente porque o autor foi indicado como pessoa da China. Além disso, os modelos tendem a confiar mais em autores humanos do que em outros sistemas de IA, dando notas de concordância ligeiramente mais baixas quando acreditam que o texto veio de outra IA.

Os pesquisadores alertam que esses vieses têm consequências práticas para moderação de conteúdo, contratações, revisão acadêmica e jornalismo. Spitale afirma que não existe uma guerra de ideologias entre LLMs e que o risco de "nacionalismo de IA" parece exagerado na mídia, mas defende transparência e governança. Os autores recomendam usar LLMs para auxiliar o raciocínio, e não para substituí-lo: "assistentes úteis, mas nunca juízes." A pesquisa foi publicada em Sciences Advances.