作者身份如何影响大型语言模型的评估 ^{CEFR A2}

这项研究由 Federico Germani 和 Giovanni Spitale 领导。他们测试了四个模型：OpenAI o3-mini、Deepseek Reasoner、xAI Grok 2 和 Mistral。每个模型先生成50条关于24个有争议话题的叙述，话题包括疫苗强制、地缘政治和气候变化政策。

研究人员让模型在不同条件下评估这些陈述：有时不提供作者信息，有时把作者标为某一国籍的人类，或标为另一款大型语言模型。研究共收集了192'000次评估数据。未提供作者信息时，各模型在所有话题上的一致率超过90%。但在给出虚构作者信息后，一致性显著下降，出现了隐藏偏见，尤其是对“来自中国的人”的不利判断。研究者建议需要透明性和治理。