Dois pesquisadores, Federico Germani e Giovanni Spitale, testaram quatro grandes modelos de linguagem. Cada modelo criou cinquenta enunciados sobre 24 tópicos controversos, como mandatos de vacinação, geopolítica e políticas climáticas. A equipe reuniu 192’000 avaliações diferentes para analisar.
Quando nenhum autor foi indicado, a concordância entre os modelos foi superior a 90% em todos os tópicos. Mas ao atribuir fontes fictícias, a concordância caiu muito. Surgiu um viés forte contra textos atribuídos a pessoas da China, mesmo em textos bem escritos e lógicos. Os modelos também confiaram mais em textos atribuídos a humanos que em textos atribuídos a outras IAs.
Os autores defendem transparência e governança e dizem que os LLMs devem ajudar o raciocínio, não substituí-lo.
Palavras difíceis
- modelo — Estrutura ou padrão para criar algo.modelos
- avaliação — Julgamento ou análise de algo.avaliar, avaliações
- pesquisador — Pessoa que faz pesquisa.pesquisadores
- viés — Tendência ou preferência em um julgamento.
- confiável — Que pode ser confiado ou é seguro.confiáveis
- preocupação — Sentimento de temor ou ansiedade sobre algo.preocupações
Dica: passe o mouse, foque ou toque nas palavras destacadas no artigo para ver definições rápidas enquanto lê ou ouve.
Perguntas para discussão
- Por que é importante saber a origem de um texto?
- Como podemos evitar viés em avaliações?
- O que você acha das preocupações sobre modelos de linguagem?
Artigos relacionados
Pesquisadores pedem regras claras para culturas editadas por genes no México
Vinte e oito pesquisadores mexicanos publicaram uma declaração e uma petição pedindo que o governo crie normas baseadas em evidências para culturas editadas por genes. Eles querem separar edição genética de OGM e proteger supervisão e controle.
