Pesquisadores da Brown University, liderados por Michael Lepori, perguntaram se modelos de linguagem distinguem eventos plausíveis, improváveis, impossíveis ou sem sentido. Eles mostraram sentenças como "resfriou com gelo", "resfriou com neve", "resfriou com fogo" e uma frase sem sentido.
Para entender as respostas, usaram interpretabilidade mecanicista, que examina os estados matemáticos internos do modelo. Os testes rodaram em modelos open-source como GPT 2, Llama 3.2 e Gemma 2. O estudo encontrou vetores internos que se relacionam com categorias de plausibilidade e que seguem julgamentos humanos, e observou padrões emergindo em modelos maiores.
Palavras difíceis
- interpretabilidade — capacidade de explicar estados internos
- mecanicista — que explica algo por mecanismos ou partes
- plausível — que pode parecer verdadeiro ou lógicoplausíveis
- vetor — representação numérica que modelos usamvetores
- emergir — aparecer ou surgir de forma inesperadaemergendo
Dica: passe o mouse, foque ou toque nas palavras destacadas no artigo para ver definições rápidas enquanto lê ou ouve.
Perguntas para discussão
- Você acha que é fácil distinguir uma frase plausível de uma sem sentido? Por quê?
- Dê um exemplo curto de uma frase plausível e outra sem sentido para testar um modelo.
Artigos relacionados
IA e imagens medem fluxo de líquido no cérebro
Pesquisadores combinaram ressonância magnética e inteligência artificial para estimar o fluxo de um líquido do sistema glinfático ligado à doença de Alzheimer. O estudo usou redes neurais treinadas com vídeos de corante e identificou duas vias de remoção de resíduos.
Yale identifica rotas que geram anticorpos IgA no intestino
Pesquisadores de Yale descobriram duas vias que produzem anticorpos IgA no intestino. A maior parte da IgA inicial não vem dos centros germinativos, mas as duas rotas têm especificidade e mutações semelhantes; o achado pode ajudar vacinas mucosas.
Galinhas modificadas podem produzir proteínas médicas nos ovos
Um estudo da University of Missouri usou CRISPR para inserir um gene num local ativo do genoma. Um marcador verde mostrou que o gene permaneceu ligado, abrindo caminho para galinhas que produzam proteínas médicas nos ovos.