Новое исследование под руководством Xiaoyan Bai и Chenhao Tan (University of Chicago) совместно с учёными из MIT, Harvard, University of Waterloo и Google DeepMind объясняет, почему современные большие языковые модели плохо умножают четырёхзначные числа. Авторы сравнили стандартную дообученную настройку и метод Implicit Chain of Thought (ICoT). При стандартной донастройке модели с от двух до 12 слоёв показали менее 1% точности при умножении четырёхзначных чисел.
Модель, обученная по ICoT, достигла 100% точности. Исследователи проанализировали скрытые состояния и выяснили, что ICoT кодирует промежуточные значения: из них можно декодировать текущие суммы, что подтверждает запоминание важных для вычислений величин.
Также команда показала, что добавление вспомогательной цели обучения для отслеживания сумм повысило точность обычной двухслойной модели почти до 99% и привело к появлению механизмов внимания, похожих на ICoT. Авторы подчёркивают, что простое увеличение данных или параметров не решает проблему без подходящих архитектурных подсказок и целей обучения.
Сложные слова
- исследование — работа чтобы узнать новые факты
- донастройка — дополнительное обучение модели после основногодонастройке
- скрытое состояние — внутренние представления модели в нейронных слояхскрытые состояния
- промежуточное значение — число между шагами вычисления или обработкипромежуточные значения
- внимание — механизм фокусировки модели на части входавнимания
- вспомогательная цель — дополнительная задача которую модель учится решатьвспомогательной цели
- декодировать — переводить внутренние представления в понятный результат
- точность — насколько ответы модели являются правильнымиточности
Подсказка: наведите, сфокусируйтесь или нажмите на выделенные слова, чтобы увидеть краткие определения прямо во время чтения или прослушивания.
Вопросы для обсуждения
- Почему кодирование промежуточных значений важно для точных вычислений в моделях?
- Какие преимущества и недостатки у подхода с вспомогательной целью обучения?
- Достаточно ли улучшать модели только увеличением данных и параметров? Объясните.
Похожие статьи
Замедлить репосты, чтобы уменьшить дезинформацию
Исследователи из Университета Копенгагена предлагают сделать репосты чуть сложнее: добавить небольшую паузу и элемент обучения. Модель показывает, что пауза снижает репосты, а пауза вместе с обучением повышает качество распространяемых постов.
