대화를 분리하는 스마트 헤드폰 ^{CEFR B2}

소음이 많은 장소에서 특정 상대의 목소리를 분리하는 문제를 해결하기 위해 연구팀은 'proactive hearing assistants'라는 스마트 헤드폰 시제품을 개발했습니다. 이 시스템은 인공지능으로 대화의 발화 리듬과 교대(turn-taking)를 학습해 누가 언제 말했는지를 식별합니다.

구체적으로 첫 번째 모델은 발화 교대를 분석해 말이 겹치지 않는 부분을 찾고, 두 번째 모델은 식별된 참여자의 음성을 분리해 착용자에게 정제된 소리를 재생합니다. 시스템은 2~4초의 오디오만으로 대화 상대를 식별할 수 있고 소비자용 오버이어 헤드폰, 마이크로폰, 회로에서 동작합니다. 동작 속도는 오디오 지연으로 혼란을 주지 않을 만큼 빠릅니다.

시제품은 착용자가 말을 시작하면 활성화되며, 착용자를 포함해 최대 네 명의 대화 상대를 처리합니다. 11명 참가자 실험에서 AI 필터링 후의 소음 차단과 이해도가 크게 향상되어 필터링된 오디오가 기준음보다 두 배 이상 긍정적으로 평가되었습니다.

선임 저자 길린 후 박사과정 학생은 이전 시스템은 사용자가 듣고자 하는 화자를 직접 선택해야 했다고 말했습니다. 새 접근법은 의도를 자동으로 추론하지만 발화 겹침, 긴 독백, 참여자의 출입은 정확도를 낮출 수 있습니다. 모델은 English, Mandarin, Japanese 대화로 테스트되었고, 다른 언어의 리듬은 추가 조정이 필요할 수 있습니다.

연구팀은 결과를 중국 쑤저우에서 열린 Conference on Empirical Methods in Natural Language Processing에서 발표했고 기저 코드를 오픈소스로 공개했습니다. 또한 연구는 상용 하드웨어에서 작동하며, 이어버드나 보청기 안의 작은 칩으로 축소하기를 희망합니다. MobiCom 2025에서 발표된 동시 연구는 작은 보청기 장치에서도 AI 모델이 작동할 수 있음을 시사했으며, 본 연구는 Moore Inventor Fellows 프로그램의 지원을 받았습니다.