等级 B2 – 中高级CEFR B2
7 分钟
374 字
来自芝加哥大学的研究团队（白晓雁、谭晨皓）与麻省理工学院、哈佛大学、滑铁卢大学和Google DeepMind合作者合作，解释了为何最先进的大型语言模型在两个四位数乘法这一看似简单的问题上表现不佳。研究聚焦当前训练方法如何影响模型保存并重用中间结果的能力，而这对长步骤计算至关重要。
团队比较了标准微调与隐式思维链（Implicit Chain of Thought，ICoT）。在标准微调下，2到12层的模型准确率低于1%，研究者发现这些模型陷入局部最优，只学会了训练数据的表面模式，缺乏保存部分乘积和累加和的机制。相比之下，ICoT训练的模型达到了100%准确率，且其隐藏状态中可以解码出运行和，说明模型学会了记住任务重要的信息。
研究还发现注意力在时间维度上被组织为不同通路：早期层在特定位置计算并存储数位对的乘积，后期层检索这些值来构成最终答案的每一位。模型内部出现了类似傅里叶基的表示，并在训练过程中自发出现了类似闵可夫斯基和的几何运算。为检验简单改动效果，研究者在训练目标中加入了让模型每一步跟踪运行和的任务。将该目标添加到2层模型后，不依赖显式思维链监督，准确率提升到99%，模型也发展出类似ICoT的注意力机制和跟踪多个数位对的新策略。
研究强调更广泛的观点：有些局限并非通过简单扩大数据或参数就能解决，架构引导和有针对性的训练目标可以帮助模型学会多步推理。谭晨皓表示，“随着人工智能越来越多地被纳入关键决策，理解其独特的学习与思维方式至关重要。”
- 主要发现：ICoT能编码运行和并提高准确率
- 内部机制：时间分路的注意力和位对表示
- 附加目标：每步跟踪运行和能显著提升性能
难词
- 微调 — 对预训练模型进行进一步训练
- 隐式思维链 — 让模型内部生成推理的训练方式
- 隐藏状态 — 模型内部保存信息的中间表示隐藏状态中
- 局部最优 — 仅在某一解附近表现最好的情况
- 注意力 — 模型关注输入不同部分的机制
- 时间维度 — 按照时间顺序组织的方向或轴
- 傅里叶基 — 用正弦余弦表示信号的基本函数傅里叶基的表示
- 跟踪 — 记录并更新某个量的变化情况跟踪运行和
提示：在文章中将鼠标悬停、聚焦或轻触高亮词语，即可在阅读或听音频时快速查看简要释义。
讨论问题
- 你认为让模型在每一步跟踪运行和这种训练目标，会对其他需要多步计算的任务有什么影响？请说明理由。
- 文章提到注意力在时间维度上分路。你觉得这种内部机制对模型可解释性有什么帮助？举例说明。
- 研究指出简单扩大数据或参数不能解决所有问题。你认为什么样的架构引导或训练目标最有可能帮助模型学会多步推理？
