Modelos de linguagem aprendem regras do mundo real ^{CEFR A2}

Pesquisadores da Brown University, liderados por Michael Lepori, perguntaram se modelos de linguagem distinguem eventos plausíveis, improváveis, impossíveis ou sem sentido. Eles mostraram sentenças como "resfriou com gelo", "resfriou com neve", "resfriou com fogo" e uma frase sem sentido.

Para entender as respostas, usaram interpretabilidade mecanicista, que examina os estados matemáticos internos do modelo. Os testes rodaram em modelos open-source como GPT 2, Llama 3.2 e Gemma 2. O estudo encontrou vetores internos que se relacionam com categorias de plausibilidade e que seguem julgamentos humanos, e observou padrões emergindo em modelos maiores.