Разработчики создали прототип под названием «proactive hearing assistants», который в реальном времени пытается изолировать голоса собеседников и снизить фоновый шум, чтобы облегчить понимание речи, особенно для людей с нарушениями слуха. Система опирается на две модели: первая анализирует «who spoke when» и ищет небольшие перекрытия реплик, вторая выделяет идентифицированных участников и воспроизводит очищенный звук носителю.
Старший автор, Шьям Голлакота (Shyam Gollakota) из University of Washington в Paul G. Allen School of Computer Science & Engineering, указал, что такой подход не требует имплантов в мозг — система предсказывает ритм смены говорящих на основе только аудио. Прототип может идентифицировать собеседников по 2–4 секундам аудио и поддерживает работу с одним до четырёх собеседников помимо носителя.
Команда протестировала наушники на 11 участниках и сравнивала подавление шума и понимание речи с фильтрацией и без неё; отфильтрованный звук получил оценку более чем в два раза выше, чем базовый вариант. Авторы отмечают проблемы с перекрывающимися репликами, длинными монологами и входящими или выходящими из разговора людьми, а также возможность дополнительной настройки ритмов для других языков — модели проверяли на English, Mandarin и Japanese.
- Исходный код доступен в открытом доступе.
- Прототип собран из коммерческих полноразмерных наушников и микрофонов.
- Команда планирует миниатюризацию для вкладышей и слуховых аппаратов.
- Параллельная работа на MobiCom 2025 показывает запуск моделей на очень маленьких слуховых устройствах.
Исследование финансировало Moore Inventor Fellows program.
Сложные слова
- прототип — первый образец устройства для проверки идеи
- изолировать — отделять звук или источник от других звуков
- реплика — короткое высказывание собеседника в разговоререплик, репликами
- идентифицировать — установить, кто является говорящим по голосу или признакам
- подавление — уменьшение нежелательного шума или помех
- настройка — изменение параметров для улучшения работынастройки
- миниатюризация — уменьшение размера техники и устройствминиатюризацию
- предсказывать — сообщать о событии до его наступленияпредсказывает
Подсказка: наведите, сфокусируйтесь или нажмите на выделенные слова, чтобы увидеть краткие определения прямо во время чтения или прослушивания.
Вопросы для обсуждения
- Какие преимущества и ограничения этого прототипа для людей с нарушением слуха вы видите? Приведите причины.
- Авторы отмечают проблемы с перекрывающимися репликами и длинными монологами. Какие практические способы решения таких проблем можно предложить?
- Какие плюсы и минусы вы видите в планах миниатюризации устройства для вкладышей и слуховых аппаратов?
Похожие статьи
Виндхук: запуск спутниковой системы раннего оповещения SEWA
На форуме в Виндхуке (Намибия) 23–27 июня представили SEWA — спутниковую систему раннего оповещения. Система и связанная программа ClimSA должны улучшить доступ к климатическим данным и помочь Африке готовиться к погодным и климатическим рискам.
Активисты в Эквадоре используют технологии против дезинформации
Группа активистов в Эквадоре возродила локальную ячейку Hacks Hackers и провела конференцию и хакатон, чтобы бороться с электоральной дезинформацией с помощью ИИ и гражданских технологий. Победители получили призы, менторство и продолжат работу над прототипами.
ИИ расширяет доступ к сексуальному и репродуктивному здоровью
В Латинской Америке исследователи и НПО используют генеративный ИИ, чтобы дать молодёжи и маргинализованным группам информацию о сексуальном и репродуктивном здоровье. Одновременно эксперты предупреждают о рисках и просят улучшить данные и контроль.