Новое исследование под руководством Xiaoyan Bai и Chenhao Tan (University of Chicago) совместно с учёными из MIT, Harvard, University of Waterloo и Google DeepMind объясняет, почему современные большие языковые модели плохо умножают четырёхзначные числа. Авторы сравнили стандартную дообученную настройку и метод Implicit Chain of Thought (ICoT). При стандартной донастройке модели с от двух до 12 слоёв показали менее 1% точности при умножении четырёхзначных чисел.
Модель, обученная по ICoT, достигла 100% точности. Исследователи проанализировали скрытые состояния и выяснили, что ICoT кодирует промежуточные значения: из них можно декодировать текущие суммы, что подтверждает запоминание важных для вычислений величин.
Также команда показала, что добавление вспомогательной цели обучения для отслеживания сумм повысило точность обычной двухслойной модели почти до 99% и привело к появлению механизмов внимания, похожих на ICoT. Авторы подчёркивают, что простое увеличение данных или параметров не решает проблему без подходящих архитектурных подсказок и целей обучения.
Сложные слова
- исследование — работа чтобы узнать новые факты
- донастройка — дополнительное обучение модели после основногодонастройке
- скрытое состояние — внутренние представления модели в нейронных слояхскрытые состояния
- промежуточное значение — число между шагами вычисления или обработкипромежуточные значения
- внимание — механизм фокусировки модели на части входавнимания
- вспомогательная цель — дополнительная задача которую модель учится решатьвспомогательной цели
- декодировать — переводить внутренние представления в понятный результат
- точность — насколько ответы модели являются правильнымиточности
Подсказка: наведите, сфокусируйтесь или нажмите на выделенные слова, чтобы увидеть краткие определения прямо во время чтения или прослушивания.
Вопросы для обсуждения
- Почему кодирование промежуточных значений важно для точных вычислений в моделях?
- Какие преимущества и недостатки у подхода с вспомогательной целью обучения?
- Достаточно ли улучшать модели только увеличением данных и параметров? Объясните.
Похожие статьи
Возраст гранул термитов показывает, активна ли колония
Исследование Университета Калифорнии в Риверсайде показало, что микробы в гранулах помёта термитов меняются со временем. Ученые измерили падение бактериальной ДНК и предлагают полевой тест, чтобы отличать свежие гранулы от старых.
Африка просит больше контроля над исследованиями в здравоохранении
Снижение внешней помощи и проблемы в здравоохранении побудили африканских лидеров требовать регионального контроля над исследованиями и производством лекарств и вакцин. Делегаты в Лусаке и учёные называют RD&I ключом к безопасности и росту.
