Dois pesquisadores, Federico Germani e Giovanni Spitale, testaram quatro grandes modelos de linguagem. Cada modelo criou cinquenta enunciados sobre 24 tópicos controversos, como mandatos de vacinação, geopolítica e políticas climáticas. A equipe reuniu 192’000 avaliações diferentes para analisar.
Quando nenhum autor foi indicado, a concordância entre os modelos foi superior a 90% em todos os tópicos. Mas ao atribuir fontes fictícias, a concordância caiu muito. Surgiu um viés forte contra textos atribuídos a pessoas da China, mesmo em textos bem escritos e lógicos. Os modelos também confiaram mais em textos atribuídos a humanos que em textos atribuídos a outras IAs.
Os autores defendem transparência e governança e dizem que os LLMs devem ajudar o raciocínio, não substituí-lo.
Palavras difíceis
- modelo — Estrutura ou padrão para criar algo.modelos
- avaliação — Julgamento ou análise de algo.avaliar, avaliações
- pesquisador — Pessoa que faz pesquisa.pesquisadores
- viés — Tendência ou preferência em um julgamento.
- confiável — Que pode ser confiado ou é seguro.confiáveis
- preocupação — Sentimento de temor ou ansiedade sobre algo.preocupações
Dica: passe o mouse, foque ou toque nas palavras destacadas no artigo para ver definições rápidas enquanto lê ou ouve.
Perguntas para discussão
- Por que é importante saber a origem de um texto?
- Como podemos evitar viés em avaliações?
- O que você acha das preocupações sobre modelos de linguagem?
Artigos relacionados
Como o musaranho encolhe o cérebro no inverno
Dois estudos mostram que o musaranho-europeu comum reduz o tamanho do cérebro e de outros órgãos no inverno (fenômeno de Dehnel) e depois regenera-os na primavera. Pesquisadores ligaram alterações genéticas e cromossômicas a esse processo.
Resumos de áudio por IA ajudam, mas têm erros em pesquisas sobre Marte
O serviço NotebookLM do Google transforma artigos científicos em resumos de áudio no estilo podcast que são envolventes, mas também apresentam erros e extrapolações. Os autores recomendam ler o material original e acham o recurso útil, sem substituir a leitura crítica.
IA e imagens medem fluxo de líquido no cérebro
Pesquisadores combinaram ressonância magnética e inteligência artificial para estimar o fluxo de um líquido do sistema glinfático ligado à doença de Alzheimer. O estudo usou redes neurais treinadas com vídeos de corante e identificou duas vias de remoção de resíduos.
