作者情報で変わるAIの判断 ^{CEFR B2}

チューリッヒ大学のFederico GermaniとGiovanni Spitaleは、OpenAI o3-mini、Deepseek Reasoner、xAI Grok 2、Mistralという四つの大規模言語モデルを対象に、作者情報が評価に与える影響を系統的に調べました。研究ではワクチン義務化や地政学、気候変動政策など24の議題について、それぞれ50の物語風の主張を生成し、出典情報の有無や著者の国籍、別のLLMが著者と伝える条件で評価させました。合計で192’000件の評価を収集しました。

結果として、出典情報がない場合は全てのテーマで合意が90%を超え、モデル間の一致は高かったと報告されました。しかし架空の出典を付けると合意は急落し、同一の文章でも深刻な隠れたバイアスが現れました。特に反中国の傾向が全モデルで見られ、著者を「中国の人」とすると同意が大きく下がりました。地政学的な話題では、Deepseekは著者を中国人と予想しただけで合意を最大75%まで下げることがありました。

また、多くのモデルは人間の著者を他のAIよりもやや信頼する傾向があり、AIが著者だと考えると同意スコアがわずかに低くなりました。研究者らはこうしたバイアスがコンテンツモデレーション、採用、学術査読、ジャーナリズムなどに影響すると警告し、透明性とガバナンスの導入を求めています。彼らはLLMを「有用な補助だが裁定者ではない」と位置付けています。研究はScience Advancesに掲載され、出典はUniversity of Zurichです。

• 影響分野: コンテンツモデレーション
• 採用
• 学術査読
• ジャーナリズム