저자 정보로 달라지는 LLM의 판단 ^{CEFR B1}

취리히 대학교 연구진은 대형 언어 모델(LLM) 네 가지(OpenAI o3-mini, Deepseek Reasoner, xAI Grok 2, Mistral)를 대상으로 실험을 진행했다. 연구진은 24개의 논쟁적 주제에 관해 각 모델이 50개의 서술문을 생성하도록 한 뒤, 동일한 문장을 서로 다른 저자 표기 조건에서 평가하게 했다. 때로는 출처를 주지 않았고, 때로는 특정 국적의 인간 또는 다른 LLM이 쓴 것으로 표기했다. 전체 평가 수는 192’000개였다.

출처 정보가 없을 때는 모델 간 합의율이 높아 over 90%를 넘었다. 그러나 허구의 출처를 추가하자 시스템 간 합의가 급격히 떨어졌다. 모든 모델에서 반중(反中) 편향이 두드러졌다. 중국 출신으로 표기하면 동일한 텍스트라도 동의 점수가 크게 낮아졌다. Deepseek의 경우 대만 주권 관련 항목에서 저자를 중국인으로 표시하자 합의가 up to 75%까지 줄어들었다.

연구진은 또한 대부분 모델이 인간 저자를 다른 AI보다 더 신뢰한다는 점을 발견했다. 이들은 이런 숨은 편향이 검열, 채용, 학술 심사, 저널리즘 등에 영향을 줄 수 있다고 경고하며 투명성과 거버넌스의 필요성을 제기했다. 연구는 Sciences Advances에 게재되었다.