Pesquisadores da Brown University apresentaram na International Conference on Learning Representations, no Rio de Janeiro, um estudo sobre se modelos de linguagem codificam restrições do mundo real. Michael Lepori, doutorando que liderou a pesquisa, afirma haver "alguma evidência" de que os modelos aprenderam algo como restrições causais. Para testar isso, a equipe criou sentenças com plausibilidade variável: exemplos cotidianos, casos improváveis, impossíveis e frases sem sentido.
Os pesquisadores usaram interpretabilidade mecanicista, isto é, a análise dos estados matemáticos internos do modelo para ver o que ele codifica. Testaram modelos open-source como GPT 2, Llama 3.2 e Gemma 2 e encontraram vetores internos que correspondem a categorias de plausibilidade.
Esses vetores diferenciaram categorias parecidas, como improvável e impossível, com cerca de 85% de acurácia, e também refletiram a incerteza humana em casos ambíguos. Os vetores surgem em modelos com mais de 2 bilhões de parâmetros, um tamanho pequeno frente a modelos atuais maiores.
Palavras difíceis
- restrição — limite ou condição do mundo realrestrições
- plausibilidade — grau de quão provável ou aceitável é
- interpretabilidade — estudo do que modelos internos representam
- mecanicista — que explica comportamento por processos internos
- vetor — representação matemática em forma de lista numéricavetores
- acurácia — medida que indica a precisão de resultados
- parâmetro — valor ajustável que define o tamanho do modeloparâmetros
- incerteza — falta de certeza ou dúvida sobre resultado
Dica: passe o mouse, foque ou toque nas palavras destacadas no artigo para ver definições rápidas enquanto lê ou ouve.
Perguntas para discussão
- Você acha convincente a ideia de que modelos de linguagem aprendem restrições do mundo real? Por quê?
- Que implicações isso pode ter para confiar em respostas de modelos de linguagem no dia a dia?
- Que experimento simples você faria para testar se um modelo distingue frases prováveis de frases impossíveis?
Artigos relacionados
Novartis apresenta GanLum, novo tratamento contra a malária
A Novartis anunciou o GanLum, com a molécula ganaplacide, que mostrou forte eficácia em ensaio final com mais de 1,600 pacientes. Pode reduzir a transmissão e enfrentar a resistência a medicamentos, e chegar ao mercado em 2027.
Fertilizante de couro ajuda plantações de café em Uganda
Investigadores de Uganda transformaram resíduos do curtume num fertilizante orgânico para o cafeeiro. Testes em Masaka mostraram bons resultados e a equipa espera ter o produto pronto até novembro deste ano para vender na região.
Audição mamífera pode ter surgido 50 milhões de anos antes
Um estudo com tomografias e simulações em Thrinaxodon, um cinodonte de 250 milhões de anos, indica que uma membrana na mandíbula podia funcionar como tímpano. Isso adianta em 50 milhões de anos a origem da audição mamífera moderna.