Modelos de Linguagem Large mudam julgamento conforme autor ^{CEFR B1}

A pesquisa sobre modelos de linguagem (LLMs) revelou que essas ferramentas não somente avaliam o conteúdo de textos, mas também a identidade de seus autores. O estudo da Universidade de Zurique encontrou que esses modelos apresentam viés quando conhecem a origem do texto, especialmente em relação a autores chineses. Se um texto é atribuído a um autor da China, a concordância nas avaliações dos LLMs diminui significativamente, mesmo que o conteúdo permaneça o mesmo.

Os pesquisadores utilizaram quatro LLMs populares e, ao criar e avaliar textos sobre assuntos polêmicos, notaram que as avaliações eram mais consistentes quando a fonte não era explicitada. Contudo, identificações como a nacionalidade mudaram esses julgamentos, revelando um viés oculto que pode ser perigoso ao usar IA para moderar conteúdos ou decisões de contratação.

As conclusões sugerem que a IA precisa ser transparente em suas avaliações e que devemos ter cautela ao confiar plenamente nessas tecnologias. Modelos de linguagem podem ser assistentes úteis, mas não devem substituir o raciocínio humano.