Modelos de linguagem mudam avaliações quando sabem quem escreveu o texto ^{CEFR A2}

Dois pesquisadores, Federico Germani e Giovanni Spitale, testaram quatro grandes modelos de linguagem. Cada modelo criou cinquenta enunciados sobre 24 tópicos controversos, como mandatos de vacinação, geopolítica e políticas climáticas. A equipe reuniu 192’000 avaliações diferentes para analisar.

Quando nenhum autor foi indicado, a concordância entre os modelos foi superior a 90% em todos os tópicos. Mas ao atribuir fontes fictícias, a concordância caiu muito. Surgiu um viés forte contra textos atribuídos a pessoas da China, mesmo em textos bem escritos e lógicos. Os modelos também confiaram mais em textos atribuídos a humanos que em textos atribuídos a outras IAs.

Os autores defendem transparência e governança e dizem que os LLMs devem ajudar o raciocínio, não substituí-lo.