言語モデルは現実の妥当性を判断するか ^{CEFR B1}

ブラウン大学の研究者たちは、現代の大規模言語モデルが現実世界に関する理解をどの程度持つかを調べ、その成果を国際会議で発表しました。実験では「氷で飲み物を冷やした（常識的）」「雪で冷やした（起こりにくい）」「火で冷やした（不可能）」「昨日で冷やした（無意味）」といった文を用いました。

研究者は機構的可解釈性の手法で、AIが生成する内部の数学的状態を解析しました。結果として、十分に大きなモデルでは妥当性のカテゴリーに対応する明確な内部ベクトルが発達していることが分かりました。これらのベクトルは起こりにくいと不可能をおおむね85%の精度で区別しました。

また、内部ベクトルはあいまいな文に対する人間の判断の分かれ方も反映しました。研究は複数のオープンソースモデルで行われ、発見はより信頼できるモデル設計に役立つ可能性があります。