Учёные изучили, почему большие языковые модели плохо умножают четырёхзначные числа. Они сравнили стандартное дообучение и метод под названием ICoT. При обычной донастройке модели с несколькими слоями давали почти нулевую точность.
Модель, обученная по ICoT, научилась хранить промежуточные суммы и дала правильные ответы — исследователи смогли декодировать текущие суммы из скрытых состояний модели. Учёные также добавили цель обучения, которая учит отслеживать суммы на каждом шаге, и это заметно помогло обычным моделям.
Сложные слова
- дообучение — дополнительное обучение модели после первоначального
- донастройка — небольшая настройка модели под конкретную задачудонастройке
- умножать — выполнять операцию умножения чисел обычно по шагамумножают
- промежуточный — находящийся между шагами или этапами процессапромежуточные
- скрытый — не видимый напрямую внутри моделискрытых
- декодировать — переводить внутренние сигналы в понятный вывод
- точность — насколько ответы модели правильные и близки к эталону
Подсказка: наведите, сфокусируйтесь или нажмите на выделенные слова, чтобы увидеть краткие определения прямо во время чтения или прослушивания.
Вопросы для обсуждения
- Почему, по-вашему, отслеживание промежуточных сумм помогает моделям давать правильные ответы?
- Как вы понимаете фразу «декодировать текущие суммы из скрытых состояний» своими словами?
- Пробовали ли вы решать умножение большой цифры по шагам? Какие шаги вы делаете?
Похожие статьи
Когнитивные игры улучшают мозг после травмы
Исследование показало, что люди с хроническими травмами головного мозга улучшили структуру мозга и когнитивные навыки, выполняя компьютерные игры для тренировки. Учёные зафиксировали изменения нейропластичности и улучшения в скорости обработки, внимании и памяти.
Искусственный интеллект помогает диагностировать аутизм в Миссури
Учёные из University of Missouri проверили одобренное FDA устройство CanvasDx с искусственным интеллектом для помощи при диагностике аутизма. В исследовании из 80 детей устройство дало определённые результаты для 52% и не давало ложных диагнозов.
Как ИИ и цифровые технологии меняют землю в Бразилии
Исследование показывает, что ИИ, автоматизация и цифровые инструменты в Бразилии усиливают индустриальный агробизнес, вытесняют общины и стирают традиционные знания. Авторы требуют прозрачности, децентрализации и кооперативных подходов для защиты земель и биоразнообразия.