최근 네이처 신경과학에 발표된 연구는 인간의 뇌가 언어를 예측할 때 단순한 다음 단어 확률을 넘어서 문법적으로 조직된 덩어리(구)를 사용한다는 증거를 제시합니다. 공동저자 데이비드 포펠은 LLM은 다음 단어를 예측하도록 최적화되지만 인간의 뇌는 문법적 단위를 바탕으로 단어를 묶어 예측한다고 설명했습니다.
연구는 만다린어 화자를 대상으로 한 여러 실험과 함께 자기뇌자도(MEG)를 이용한 뇌 활동 기록, 본문에서 단어를 지워 빈칸을 채우는 행동적 Cloze 검사 등을 병행했습니다. 연구팀은 추가로 영어에 노출된 환자들의 뇌 데이터도 분석해 결과의 언어 전반 적용 가능성을 점검했습니다.
분석에서는 LLM 기반 예측과 뇌 반응을 비교하기 위해 엔트로피와 서프라이절을 계산했습니다. 높은 엔트로피는 맥락이 여러 가능한 다음 단어를 허용함을 뜻하고, 높은 서프라이절은 특정 단어가 맥락에서 예상외임을 나타냅니다. 만약 뇌가 LLM처럼 작동한다면 전체적인 상관관계가 높았을 것입니다. 그러나 실제로는 단어가 문법 구조에서 차지하는 위치에 따라 뇌 반응이 달라졌고, 이는 뇌가 구성요소에 민감하다는 점을 시사합니다.
연구진은 인간의 예측이 문법적으로 조직된 덩어리에 의해 균형과 조절을 받는다고 결론지었습니다. 또한 LLM은 이러한 구성요소 민감성을 반영하지 않아, 뇌의 언어 처리 과정과 계산 모델 간 관계에 대해 새로운 질문을 제기합니다.
어려운 단어·표현
- 엔트로피 — 맥락이 여러 가능한 다음 단어를 허용함엔트로피와
- 서프라이절 — 특정 단어가 문맥에서 예상외임을 나타냄서프라이절을
- 자기뇌자도 — 뇌의 전기·자기 활동을 측정하는 장비자기뇌자도(MEG)
- 상관관계 — 두 변수 사이의 관계 정도를 나타내는 지표상관관계가
- 구성요소 — 어떤 전체를 이루는 개별 부분이나 요소구성요소에
- LLM — 대규모 언어 모델을 가리키는 약자
팁: 글에서 강조된 단어에 마우스를 올리거나 포커스/탭하면, 읽거나 들으면서 바로 간단한 뜻을 볼 수 있습니다.
토론 질문
- 이 연구 결과가 향후 언어 모델(LLM) 개발에 어떤 영향을 줄 수 있을까요? 이유를 들어 설명해 보세요.
- 문법적으로 조직된 덩어리에 기반한 예측이 언어 학습이나 교수법에 어떤 의미가 있을지 토론해 보세요.
- 연구에서 사용한 MEG와 행동적 검사를 바탕으로 추가하거나 개선하고 싶은 연구 방법이 있나요? 그 이유는 무엇인가요?
