Новое исследование под руководством Xiaoyan Bai и Chenhao Tan (University of Chicago) совместно с учёными из MIT, Harvard, University of Waterloo и Google DeepMind объясняет, почему современные большие языковые модели плохо умножают четырёхзначные числа. Авторы сравнили стандартную дообученную настройку и метод Implicit Chain of Thought (ICoT). При стандартной донастройке модели с от двух до 12 слоёв показали менее 1% точности при умножении четырёхзначных чисел.
Модель, обученная по ICoT, достигла 100% точности. Исследователи проанализировали скрытые состояния и выяснили, что ICoT кодирует промежуточные значения: из них можно декодировать текущие суммы, что подтверждает запоминание важных для вычислений величин.
Также команда показала, что добавление вспомогательной цели обучения для отслеживания сумм повысило точность обычной двухслойной модели почти до 99% и привело к появлению механизмов внимания, похожих на ICoT. Авторы подчёркивают, что простое увеличение данных или параметров не решает проблему без подходящих архитектурных подсказок и целей обучения.
Сложные слова
- исследование — работа чтобы узнать новые факты
- донастройка — дополнительное обучение модели после основногодонастройке
- скрытое состояние — внутренние представления модели в нейронных слояхскрытые состояния
- промежуточное значение — число между шагами вычисления или обработкипромежуточные значения
- внимание — механизм фокусировки модели на части входавнимания
- вспомогательная цель — дополнительная задача которую модель учится решатьвспомогательной цели
- декодировать — переводить внутренние представления в понятный результат
- точность — насколько ответы модели являются правильнымиточности
Подсказка: наведите, сфокусируйтесь или нажмите на выделенные слова, чтобы увидеть краткие определения прямо во время чтения или прослушивания.
Вопросы для обсуждения
- Почему кодирование промежуточных значений важно для точных вычислений в моделях?
- Какие преимущества и недостатки у подхода с вспомогательной целью обучения?
- Достаточно ли улучшать модели только увеличением данных и параметров? Объясните.
Похожие статьи
Когнитивные игры улучшают мозг после травмы
Исследование показало, что люди с хроническими травмами головного мозга улучшили структуру мозга и когнитивные навыки, выполняя компьютерные игры для тренировки. Учёные зафиксировали изменения нейропластичности и улучшения в скорости обработки, внимании и памяти.
Искусственный интеллект помогает диагностировать аутизм в Миссури
Учёные из University of Missouri проверили одобренное FDA устройство CanvasDx с искусственным интеллектом для помощи при диагностике аутизма. В исследовании из 80 детей устройство дало определённые результаты для 52% и не давало ложных диагнозов.
Как ИИ и цифровые технологии меняют землю в Бразилии
Исследование показывает, что ИИ, автоматизация и цифровые инструменты в Бразилии усиливают индустриальный агробизнес, вытесняют общины и стирают традиционные знания. Авторы требуют прозрачности, децентрализации и кооперативных подходов для защиты земель и биоразнообразия.