Por que modelos de linguagem falham ao multiplicar 4 dígitos ^{CEFR B2}

Um estudo conduzido por Xiaoyan Bai e Chenhao Tan, da University of Chicago, com colaboração do MIT, Harvard, University of Waterloo e Google DeepMind, explica por que modelos de linguagem de última geração têm dificuldade com a tarefa aparentemente elementar de multiplicar dois números de quatro dígitos. A pesquisa examina como os métodos de treino influenciam a capacidade dos modelos de armazenar e reutilizar resultados intermédios — uma habilidade essencial para cálculos que dependem de muitos passos.

A equipe comparou o ajuste fino padrão com o Implicit Chain of Thought (ICoT). Modelos treinados com ajuste fino padrão, entre 2 e 12 camadas, atingiram menos de 1% de acurácia, pois caem em ótimos locais e aprendem padrões superficiais sem desenvolver um mecanismo para guardar valores parciais. Em contraste, o modelo ICoT alcançou 100% de acurácia; sondagens dos estados internos mostraram que ele codifica somas correntes e outros valores intermédios, os quais podem ser decodificados a partir dos estados ocultos.

Os pesquisadores também observaram que o ICoT organiza a atenção em vias distintas ao longo do tempo: camadas iniciais computam e armazenam produtos de pares de dígitos em posições específicas, e camadas posteriores recuperam esses valores para construir cada dígito da resposta final. Notaram ainda representações de dígitos em bases similares a Fourier e uma operação geométrica parecida com a soma de Minkowski que emergiu durante o treino.

Como experimento prático, os autores adicionaram um objetivo de treino que ensina o modelo a rastrear somas correntes a cada passo; inserir esse objetivo num modelo de 2 camadas elevou a acurácia para 99% sem supervisão explícita de cadeia de pensamento. O estudo conclui que limites do raciocínio multi-etapa não se resolvem apenas com mais dados ou parâmetros: arquiteturas e objetivos de treino direcionados podem ser necessários. Fonte: University of Chicago.