연구는 인공지능 기반 챗봇 응답이 사용자의 사회적·정치적 견해에 미치는 영향을 실험적으로 분석했다. 실험에는 두 건의 20세기 역사 사건이 사용되었고, 참가자들은 세 종류의 요약문 중 하나를 읽었다: GPT-4o가 만든 기본 요약, 해당 사건의 위키백과 항목, 또는 연구팀이 리버럴 또는 보수적 프레이밍을 유도하도록 설계한 요약문.
총 1,912명의 참가자를 대상으로 한 결과, 기본 AI 요약과 리버럴 유도 요약은 위키백과보다 응답자들을 더 리버럴한 방향으로 이동시켰다. 반대로 보수적 프레이밍은 위키백과보다 더 보수적인 반응을 이끌었으며, 보수 프레이밍의 통계적 유의성은 스스로 보수 성향이라 밝힌 참가자들에게서 주로 관찰되었다.
저자들은 기본 요약의 리버럴 전환을 대형 언어 모델(LLM)의 학습 과정에서 생긴 잠재적 편향의 증거로 해석했고, 보수적 효과는 주로 프롬프트 유도 편향에서 기인할 수 있다고 설명했다. 연구는 영향이 크지 않아 중도층을 다소 리버럴한 쪽으로 이동시키는 수준이라고 결론지었다.
또한 연구진은 위키백과의 투명한 편집 과정과 달리 챗봇 개발 과정은 불투명하다고 지적하며, 이런 모델을 개발하는 회사들이 사람들의 의견 형성에 영향을 줄 수 있다는 점을 경고했다. 논문은 PNAS Nexus에 게재되었고, 수석 저자는 예일대학교의 다니엘 카렐이며 제1저자는 매튜 슈이다. 추가 공저자들은 예일과 러트거스 대학교 소속이며 연구 출처는 예일대학교이다.
어려운 단어·표현
- 인공지능 — 사람의 지능을 흉내 내는 컴퓨터 기술
- 챗봇 — 사람과 대화하는 자동 응답 프로그램
- 프레이밍 — 특정 관점으로 정보를 제시하는 방식
- 유도하다 — 어떤 반응이나 행동을 의도적으로 이끌어내다유도하도록
- 편향 — 공정하지 않게 치우친 생각이나 경향
- 대형 언어 모델 — 많은 데이터를 학습한 언어 처리 시스템
- 통계적 유의성 — 결과가 우연보다 더 신뢰할 수 있음
- 투명하다 — 과정이나 정보가 쉽게 드러나는 상태투명한
팁: 글에서 강조된 단어에 마우스를 올리거나 포커스/탭하면, 읽거나 들으면서 바로 간단한 뜻을 볼 수 있습니다.
토론 질문
- 이 연구 결과가 일상에서 챗봇이나 AI 요약을 사용할 때 사람들의 의견 형성에 어떤 영향을 줄 수 있다고 생각합니까? 구체적 예를 들어 설명하세요.
- 챗봇 개발 과정의 투명성을 높이기 위해 어떤 조치가 필요하다고 보십니까? 이유와 함께 적으세요.
- 연구는 영향이 '크지 않다'고 결론냈습니다. 그럼에도 왜 이러한 영향이 우려될 수 있는지 자신의 의견을 쓰세요.
