Por que modelos de linguagem falham ao multiplicar 4 dígitos ^{CEFR B1}

Pesquisadores liderados por Xiaoyan Bai e Chenhao Tan, da University of Chicago, com colaboradores do MIT, Harvard, University of Waterloo e Google DeepMind, investigaram por que modelos de linguagem falham em multiplicar dois números de quatro dígitos. O estudo foca nas dependências de longo alcance, quando o modelo precisa manter produtos parciais e somas correntes para chegar à resposta correta.

Comparando o ajuste fino padrão com o método Implicit Chain of Thought (ICoT), a equipe observou que modelos de 2 a 12 camadas treinados de forma padrão atingiram menos de 1% de acurácia porque aprendem padrões superficiais, sem desenvolver um mecanismo para armazenar valores intermédios. Já o modelo ICoT alcançou 100% de acurácia e codificou esses valores nos estados ocultos, permitindo decodificar as somas correntes.

Os autores também viram que camadas iniciais calculam e armazenam produtos de pares de dígitos em locais específicos e que camadas posteriores recuperam esses valores para formar cada dígito da resposta. Inserir um objetivo de treino para rastrear somas elevou um modelo de 2 camadas para 99% de acurácia, sem supervisão explícita de cadeia de pensamento.

"À medida que a IA é cada vez mais integrada a decisões críticas, é essencial entender suas formas singulares de aprender e pensar", afirma Tan. Fonte: University of Chicago.