Por que modelos de linguagem falham ao multiplicar 4 dígitos ^{CEFR A2}

Uma pesquisa recente explica por que modelos de linguagem avançados têm dificuldade para multiplicar dois números de quatro dígitos. O estudo analisa como os métodos de treino atuais afetam a capacidade dos modelos de armazenar e reutilizar resultados intermédios, algo necessário para cálculos longos.

Uma equipe de várias universidades e da indústria comparou o ajuste fino padrão com um método chamado Implicit Chain of Thought (ICoT). Sob ajuste fino padrão, modelos com 2 a 12 camadas alcançaram menos de 1% de acurácia. Em contraste, o modelo treinado com ICoT alcançou 100% de acurácia.

Os pesquisadores também mostraram que dar ao modelo o objetivo de rastrear somas correntes melhorou o resultado: um modelo de 2 camadas chegou a 99% de acurácia sem supervisão explícita de cadeia de pensamento.