Pesquisadores da Brown University apresentaram na International Conference on Learning Representations, no Rio de Janeiro, um estudo sobre se modelos de linguagem codificam restrições do mundo real. Michael Lepori, doutorando que liderou a pesquisa, afirma haver "alguma evidência" de que os modelos aprenderam algo como restrições causais. Para testar isso, a equipe criou sentenças com plausibilidade variável: exemplos cotidianos, casos improváveis, impossíveis e frases sem sentido.
Os pesquisadores usaram interpretabilidade mecanicista, isto é, a análise dos estados matemáticos internos do modelo para ver o que ele codifica. Testaram modelos open-source como GPT 2, Llama 3.2 e Gemma 2 e encontraram vetores internos que correspondem a categorias de plausibilidade.
Esses vetores diferenciaram categorias parecidas, como improvável e impossível, com cerca de 85% de acurácia, e também refletiram a incerteza humana em casos ambíguos. Os vetores surgem em modelos com mais de 2 bilhões de parâmetros, um tamanho pequeno frente a modelos atuais maiores.
Palavras difíceis
- restrição — limite ou condição do mundo realrestrições
- plausibilidade — grau de quão provável ou aceitável é
- interpretabilidade — estudo do que modelos internos representam
- mecanicista — que explica comportamento por processos internos
- vetor — representação matemática em forma de lista numéricavetores
- acurácia — medida que indica a precisão de resultados
- parâmetro — valor ajustável que define o tamanho do modeloparâmetros
- incerteza — falta de certeza ou dúvida sobre resultado
Dica: passe o mouse, foque ou toque nas palavras destacadas no artigo para ver definições rápidas enquanto lê ou ouve.
Perguntas para discussão
- Você acha convincente a ideia de que modelos de linguagem aprendem restrições do mundo real? Por quê?
- Que implicações isso pode ter para confiar em respostas de modelos de linguagem no dia a dia?
- Que experimento simples você faria para testar se um modelo distingue frases prováveis de frases impossíveis?
Artigos relacionados
Simulação de quase-morte em realidade virtual reduz medo da morte
Um pequeno estudo piloto com estudantes mostrou que uma sessão breve de realidade virtual baseada em relatos de quase-morte reduziu a ansiedade em relação à morte. Os pesquisadores planejam ampliar o estudo, mas pedem cautela.
