Разработчики создали прототип под названием «proactive hearing assistants», который в реальном времени пытается изолировать голоса собеседников и снизить фоновый шум, чтобы облегчить понимание речи, особенно для людей с нарушениями слуха. Система опирается на две модели: первая анализирует «who spoke when» и ищет небольшие перекрытия реплик, вторая выделяет идентифицированных участников и воспроизводит очищенный звук носителю.
Старший автор, Шьям Голлакота (Shyam Gollakota) из University of Washington в Paul G. Allen School of Computer Science & Engineering, указал, что такой подход не требует имплантов в мозг — система предсказывает ритм смены говорящих на основе только аудио. Прототип может идентифицировать собеседников по 2–4 секундам аудио и поддерживает работу с одним до четырёх собеседников помимо носителя.
Команда протестировала наушники на 11 участниках и сравнивала подавление шума и понимание речи с фильтрацией и без неё; отфильтрованный звук получил оценку более чем в два раза выше, чем базовый вариант. Авторы отмечают проблемы с перекрывающимися репликами, длинными монологами и входящими или выходящими из разговора людьми, а также возможность дополнительной настройки ритмов для других языков — модели проверяли на English, Mandarin и Japanese.
- Исходный код доступен в открытом доступе.
- Прототип собран из коммерческих полноразмерных наушников и микрофонов.
- Команда планирует миниатюризацию для вкладышей и слуховых аппаратов.
- Параллельная работа на MobiCom 2025 показывает запуск моделей на очень маленьких слуховых устройствах.
Исследование финансировало Moore Inventor Fellows program.
Сложные слова
- прототип — первый образец устройства для проверки идеи
- изолировать — отделять звук или источник от других звуков
- реплика — короткое высказывание собеседника в разговоререплик, репликами
- идентифицировать — установить, кто является говорящим по голосу или признакам
- подавление — уменьшение нежелательного шума или помех
- настройка — изменение параметров для улучшения работынастройки
- миниатюризация — уменьшение размера техники и устройствминиатюризацию
- предсказывать — сообщать о событии до его наступленияпредсказывает
Подсказка: наведите, сфокусируйтесь или нажмите на выделенные слова, чтобы увидеть краткие определения прямо во время чтения или прослушивания.
Вопросы для обсуждения
- Какие преимущества и ограничения этого прототипа для людей с нарушением слуха вы видите? Приведите причины.
- Авторы отмечают проблемы с перекрывающимися репликами и длинными монологами. Какие практические способы решения таких проблем можно предложить?
- Какие плюсы и минусы вы видите в планах миниатюризации устройства для вкладышей и слуховых аппаратов?
Похожие статьи
Инструмент снижает партийную враждебность в ленте X
Исследователи создали браузерное расширение с большой языковой моделью, которое переставляет политические записи в ленте X без их удаления. В массовом эксперименте инструмент уменьшал враждебность и улучшал отношения между сторонниками разных партий.
Носимый датчик для ранней диагностики хрупкости у пожилых
Учёные из Университета Аризоны создали носимое устройство с искусственным интеллектом, которое на ноге выявляет ранние признаки хрупкости у пожилых людей. Анализ выполняется прямо в приборе, а результаты отправляются на смартфон.