대화를 분리하는 스마트 헤드폰 ^{CEFR B1}

시끄러운 환경에서 여러 사람의 목소리를 구별하는 '칵테일 파티 문제'는 청력 손실이 있는 사람에게 특히 힘듭니다. 연구팀은 착용자의 대화 상대 목소리를 분리하는 스마트 헤드폰 시제품을 개발했습니다. 이 시스템은 인공지능으로 발화의 리듬과 교대를 추적합니다.

한 모델은 누가 언제 말했는지 추적해 겹침이 적은 부분을 찾고, 다른 모델은 대화를 따르지 않는 소리와 배경 소음을 음소거해 정제된 오디오를 재생합니다. 시스템은 2~4초의 짧은 오디오로 상대를 식별할 수 있고, 상용 하드웨어에서 동작합니다.

시제품은 착용자가 말을 시작하면 활성화되며, 착용자를 포함해 최대 네 명의 대화 상대를 처리할 수 있습니다. 11명의 참가자 실험에서 필터링된 오디오는 기준음보다 두 배 이상 긍정적으로 평가되었습니다.

수석 저자 샤얌 골라코타 교수는 기존 방법이 종종 이식형 전극을 필요로 했지만, 이 접근은 오디오만으로 추적해 이식형 장치가 필요 없다고 밝혔습니다.