대형 언어 모델의 안전 정렬 연구 ^{CEFR B1}

노스캐롤라이나 주립대학교 연구진은 대형 언어 모델(LLM)의 안전 정렬이 어떻게 작동하는지 분석하고 새로운 훈련 기법을 실험했습니다. 교신저자인 정은 김 조교수는 모델이 사람들이 스스로 해를 끼치도록 하거나 다른 사람을 해칠 수 있는 정보를 제공하지 않기를 원한다고 말했습니다.

연구진은 두 가지 주요 문제를 확인했습니다. 하나는 안전 훈련이 모델 정확도를 낮출 수 있다는 점으로, 연구진은 이를 "정렬 비용('alignment tax')"이라고 불렀습니다. 다른 하나는 많은 모델이 응답 생성 초기에 안전 여부를 단순히 판단하는 표면적 안전 검사 방식을 사용해, 사용자가 이를 우회할 수 있다는 점입니다. 제1저자인 지안웨이 리 박사과정생은 이 문제를 구체적 예로 설명했습니다.

연구팀은 표면적 안전 정렬 가설(SSAH)을 제안하고, 안전 결정에 영향을 주는 신경 구성 요소를 찾아냈습니다. 미세조정 과정에서 이런 신경을 고정하면 모델이 원래의 안전 행동을 유지하면서도 과제를 학습할 수 있음을 보였습니다. 연구 결과는 학회에서 발표되고 관련 코드가 공개됩니다.