Почему языковые модели ошибаются при умножении четырёхзначных чисел ^{CEFR B2}

Исследование, руководимое Xiaoyan Bai и Chenhao Tan из University of Chicago при участии команд из MIT, Harvard, University of Waterloo и Google DeepMind, подробно изучает, почему передовые большие языковые модели испытывают трудности с умножением четырёхзначных чисел. В работе сравнили стандартную дообученную настройку (fine-tuning) и метод Implicit Chain of Thought (ICoT). Модели с двух до 12 слоёв при стандартной донастройке показали менее 1% точности, тогда как модель, обученная по ICoT, достигла 100%.

Анализ внутренних состояний показал, что ICoT кодирует промежуточные значения: из скрытых состояний можно декодировать текущие суммы. Модель организует процессы внимания по времени: ранние слои вычисляют и хранят произведения пар цифр в отдельных ячейках, а поздние слои извлекают эти значения для формирования каждой цифры ответа. Авторы также отмечают представление цифр через Фурье-подобные базисы и естественное появление операции, похожей на сумму Минковского.

Чтобы проверить, можно ли помочь стандартным моделям, команда добавила вспомогательную цель обучения, обучающую отслеживать текущие суммы на каждом шаге. Для двухслойной модели это повысило точность до 99% без явного контроля цепочек рассуждений; при этом она сформировала механизмы внимания, похожие на ICoT, и новые стратегии отслеживания нескольких пар цифр. Авторы делают вывод, что архитектурные подсказки и целевые цели обучения важны для усвоения многошагового рассуждения, поскольку простое увеличение данных или числа параметров не устраняет эти ограничения. По словам Tan, «По мере того как AI всё активнее интегрируется в критические решения, важно понимать его особые способы обучения и мышления».