Разработчики создали прототип под названием «proactive hearing assistants», который в реальном времени пытается изолировать голоса собеседников и снизить фоновый шум, чтобы облегчить понимание речи, особенно для людей с нарушениями слуха. Система опирается на две модели: первая анализирует «who spoke when» и ищет небольшие перекрытия реплик, вторая выделяет идентифицированных участников и воспроизводит очищенный звук носителю.
Старший автор, Шьям Голлакота (Shyam Gollakota) из University of Washington в Paul G. Allen School of Computer Science & Engineering, указал, что такой подход не требует имплантов в мозг — система предсказывает ритм смены говорящих на основе только аудио. Прототип может идентифицировать собеседников по 2–4 секундам аудио и поддерживает работу с одним до четырёх собеседников помимо носителя.
Команда протестировала наушники на 11 участниках и сравнивала подавление шума и понимание речи с фильтрацией и без неё; отфильтрованный звук получил оценку более чем в два раза выше, чем базовый вариант. Авторы отмечают проблемы с перекрывающимися репликами, длинными монологами и входящими или выходящими из разговора людьми, а также возможность дополнительной настройки ритмов для других языков — модели проверяли на English, Mandarin и Japanese.
- Исходный код доступен в открытом доступе.
- Прототип собран из коммерческих полноразмерных наушников и микрофонов.
- Команда планирует миниатюризацию для вкладышей и слуховых аппаратов.
- Параллельная работа на MobiCom 2025 показывает запуск моделей на очень маленьких слуховых устройствах.
Исследование финансировало Moore Inventor Fellows program.
Сложные слова
- прототип — первый образец устройства для проверки идеи
- изолировать — отделять звук или источник от других звуков
- реплика — короткое высказывание собеседника в разговоререплик, репликами
- идентифицировать — установить, кто является говорящим по голосу или признакам
- подавление — уменьшение нежелательного шума или помех
- настройка — изменение параметров для улучшения работынастройки
- миниатюризация — уменьшение размера техники и устройствминиатюризацию
- предсказывать — сообщать о событии до его наступленияпредсказывает
Подсказка: наведите, сфокусируйтесь или нажмите на выделенные слова, чтобы увидеть краткие определения прямо во время чтения или прослушивания.
Вопросы для обсуждения
- Какие преимущества и ограничения этого прототипа для людей с нарушением слуха вы видите? Приведите причины.
- Авторы отмечают проблемы с перекрывающимися репликами и длинными монологами. Какие практические способы решения таких проблем можно предложить?
- Какие плюсы и минусы вы видите в планах миниатюризации устройства для вкладышей и слуховых аппаратов?
Похожие статьи
Синтезатор из деталей вейпа
Команда программы Interactive Telecommunications Program Школы искусств Tisch при NYU переделала выброшенные картриджи от вейпов в простой электронный музыкальный прибор и опубликовала инструкции, чтобы показать, как сократить электронные отходы через повторное использование.
Влияние центров обработки данных на экономики округов в США
Строительство центров обработки данных в США выросло из-за развития искусственного интеллекта. Исследование Georgia Tech показывает небольшие положительные эффекты на занятость и бизнес, но выгоды сконцентрированы в больших агломерациях, а цены на электроэнергию растут.
ИИ выявляет риск ADHD по медицинским картам
Учёные показали, что искусственный интеллект может по рутинным электронным медицинским картам предсказать риск развития ADHD у детей за годы до диагноза. Инструмент не ставит диагноз, а помогает выделить детей для раннего наблюдения и оценки.
Присутствие людей меняет поведение диких животных
Новое крупное исследование показало, что простое присутствие людей меняет передвижения и поведение диких животных по всей территории США. Это влияет на планы охраны природы и требует целевых мер по сокращению беспокойства в важных местах.