Modelos de linguagem aprendem regras do mundo real ^{CEFR B2}

Uma equipe da Brown University, liderada pelo doutorando Michael Lepori, investigou se modelos de linguagem modernos codificam, internamente, restrições causais do mundo real. O trabalho foi apresentado na International Conference on Learning Representations, no Rio de Janeiro. Para o experimento, os pesquisadores mostraram sentenças com diferentes níveis de plausibilidade — por exemplo, "Alguém resfriou uma bebida com gelo" (comum), "...com neve" (improvável), "...com fogo" (impossível) e uma frase sem sentido como "...com ontem" — e analisaram os estados matemáticos internos gerados pela IA.

Esse procedimento, chamado interpretabilidade mecanicista, é descrito como uma espécie de "neurociência para sistemas de IA" e busca engenharia reversa do que o modelo armazena em seus vetores internos. Os experimentos, feitos em modelos open-source como GPT 2, Llama 3.2 e Gemma 2, mostraram que modelos suficientemente grandes desenvolvem vetores distintos que mapeiam para categorias de plausibilidade.

Os vetores conseguiram distinguir categorias próximas, como improvável versus impossível, com aproximadamente 85% de acurácia. Além disso, refletiram a incerteza humana em declarações ambíguas. Os pesquisadores relatam que esses padrões começam a aparecer em modelos com mais de 2 bilhões de parâmetros, um tamanho pequeno comparado a modelos atuais de mais de um trilhão de parâmetros. As descobertas podem ajudar a desenvolver modelos mais inteligentes e confiáveis.

• A interpretabilidade mecanicista revela o que os modelos codificam.
• Vetores internos mapeiam para julgamentos humanos de plausibilidade.
• As descobertas podem apoiar modelos mais confiáveis.