Pesquisadores da Brown University, liderados por Michael Lepori, perguntaram se modelos de linguagem distinguem eventos plausíveis, improváveis, impossíveis ou sem sentido. Eles mostraram sentenças como "resfriou com gelo", "resfriou com neve", "resfriou com fogo" e uma frase sem sentido.
Para entender as respostas, usaram interpretabilidade mecanicista, que examina os estados matemáticos internos do modelo. Os testes rodaram em modelos open-source como GPT 2, Llama 3.2 e Gemma 2. O estudo encontrou vetores internos que se relacionam com categorias de plausibilidade e que seguem julgamentos humanos, e observou padrões emergindo em modelos maiores.
Palavras difíceis
- interpretabilidade — capacidade de explicar estados internos
- mecanicista — que explica algo por mecanismos ou partes
- plausível — que pode parecer verdadeiro ou lógicoplausíveis
- vetor — representação numérica que modelos usamvetores
- emergir — aparecer ou surgir de forma inesperadaemergendo
Dica: passe o mouse, foque ou toque nas palavras destacadas no artigo para ver definições rápidas enquanto lê ou ouve.
Perguntas para discussão
- Você acha que é fácil distinguir uma frase plausível de uma sem sentido? Por quê?
- Dê um exemplo curto de uma frase plausível e outra sem sentido para testar um modelo.
Artigos relacionados
Tempestade de gelo deixa mais de um milhão sem energia no leste dos EUA
Uma forte tempestade de inverno trouxe gelo e chuva congelante ao leste dos Estados Unidos, deixando mais de um milhão de clientes sem energia. Autoridades, empresas e pesquisadores trabalham para restaurar o serviço e avaliar os danos.
Desigualdade e o risco das pandemias
Matthew M. Kavanagh, diretor do Georgetown University Center for Global Health Policy and Politics, alerta que a desigualdade aumenta a vulnerabilidade a pandemias. Ele propõe mudanças em finanças, tecnologia e políticas sociais para reduzir esse risco.
Imagens diretas revelam a complexidade de duas novas estelares
Astrônomos capturaram imagens diretas de duas novas pouco depois das erupções e descobriram fluxos múltiplos de gás e ejeções retardadas. As observações, com CHARA e dados do Fermi-LAT, foram publicadas em Nature Astronomy.