研究：语言模型能判断事件是否合理 ^{CEFR B1}

这项工作由布朗大学的研究团队完成，并在国际学习表征会议上发表。领导该研究的博士生Michael Lepori表示，研究发现语言模型在内部编码了类似现实世界因果约束的东西，并且这些编码能预测人类判断。

为检验这一点，团队向模型呈现了描述不同合理性的句子，例如“有人用冰冷却饮料”、“有人用雪冷却饮料”、“有人用火冷却饮料”和荒谬的“有人用昨天冷却饮料”。研究使用机制可解释性方法，检查模型产生的内部数学状态。

实验在若干模型上进行，包括GPT-2、Llama 3.2和Gemma 2。研究发现，足够大的模型会形成与合理性类别相对应的内部向量，这些向量能区分相近类别，准确率约为85%。这些发现有助于开发更智能、更值得信赖的模型。