Учёные изучили, почему большие языковые модели плохо умножают четырёхзначные числа. Они сравнили стандартное дообучение и метод под названием ICoT. При обычной донастройке модели с несколькими слоями давали почти нулевую точность.
Модель, обученная по ICoT, научилась хранить промежуточные суммы и дала правильные ответы — исследователи смогли декодировать текущие суммы из скрытых состояний модели. Учёные также добавили цель обучения, которая учит отслеживать суммы на каждом шаге, и это заметно помогло обычным моделям.
Сложные слова
- дообучение — дополнительное обучение модели после первоначального
- донастройка — небольшая настройка модели под конкретную задачудонастройке
- умножать — выполнять операцию умножения чисел обычно по шагамумножают
- промежуточный — находящийся между шагами или этапами процессапромежуточные
- скрытый — не видимый напрямую внутри моделискрытых
- декодировать — переводить внутренние сигналы в понятный вывод
- точность — насколько ответы модели правильные и близки к эталону
Подсказка: наведите, сфокусируйтесь или нажмите на выделенные слова, чтобы увидеть краткие определения прямо во время чтения или прослушивания.
Вопросы для обсуждения
- Почему, по-вашему, отслеживание промежуточных сумм помогает моделям давать правильные ответы?
- Как вы понимаете фразу «декодировать текущие суммы из скрытых состояний» своими словами?
- Пробовали ли вы решать умножение большой цифры по шагам? Какие шаги вы делаете?
Похожие статьи
Анализ крови на основе ИИ помогает отличать деменцию
Учёные разработали анализ крови, основанный на искусственном интеллекте, который может отличать распространённые причины деменции от нормального старения. Тест показал высокую точность, но для клинического применения нужны дополнительные исследования.
Присутствие людей меняет поведение диких животных
Новое крупное исследование показало, что простое присутствие людей меняет передвижения и поведение диких животных по всей территории США. Это влияет на планы охраны природы и требует целевых мер по сокращению беспокойства в важных местах.
