Разработчики создали прототип под названием «proactive hearing assistants», который в реальном времени пытается изолировать голоса собеседников и снизить фоновый шум, чтобы облегчить понимание речи, особенно для людей с нарушениями слуха. Система опирается на две модели: первая анализирует «who spoke when» и ищет небольшие перекрытия реплик, вторая выделяет идентифицированных участников и воспроизводит очищенный звук носителю.
Старший автор, Шьям Голлакота (Shyam Gollakota) из University of Washington в Paul G. Allen School of Computer Science & Engineering, указал, что такой подход не требует имплантов в мозг — система предсказывает ритм смены говорящих на основе только аудио. Прототип может идентифицировать собеседников по 2–4 секундам аудио и поддерживает работу с одним до четырёх собеседников помимо носителя.
Команда протестировала наушники на 11 участниках и сравнивала подавление шума и понимание речи с фильтрацией и без неё; отфильтрованный звук получил оценку более чем в два раза выше, чем базовый вариант. Авторы отмечают проблемы с перекрывающимися репликами, длинными монологами и входящими или выходящими из разговора людьми, а также возможность дополнительной настройки ритмов для других языков — модели проверяли на English, Mandarin и Japanese.
- Исходный код доступен в открытом доступе.
- Прототип собран из коммерческих полноразмерных наушников и микрофонов.
- Команда планирует миниатюризацию для вкладышей и слуховых аппаратов.
- Параллельная работа на MobiCom 2025 показывает запуск моделей на очень маленьких слуховых устройствах.
Исследование финансировало Moore Inventor Fellows program.
Сложные слова
- прототип — первый образец устройства для проверки идеи
- изолировать — отделять звук или источник от других звуков
- реплика — короткое высказывание собеседника в разговоререплик, репликами
- идентифицировать — установить, кто является говорящим по голосу или признакам
- подавление — уменьшение нежелательного шума или помех
- настройка — изменение параметров для улучшения работынастройки
- миниатюризация — уменьшение размера техники и устройствминиатюризацию
- предсказывать — сообщать о событии до его наступленияпредсказывает
Подсказка: наведите, сфокусируйтесь или нажмите на выделенные слова, чтобы увидеть краткие определения прямо во время чтения или прослушивания.
Вопросы для обсуждения
- Какие преимущества и ограничения этого прототипа для людей с нарушением слуха вы видите? Приведите причины.
- Авторы отмечают проблемы с перекрывающимися репликами и длинными монологами. Какие практические способы решения таких проблем можно предложить?
- Какие плюсы и минусы вы видите в планах миниатюризации устройства для вкладышей и слуховых аппаратов?
Похожие статьи
Инструмент снижает партийную враждебность в ленте X
Исследователи создали браузерное расширение с большой языковой моделью, которое переставляет политические записи в ленте X без их удаления. В массовом эксперименте инструмент уменьшал враждебность и улучшал отношения между сторонниками разных партий.
Приложение DopFone для домашнего контроля сердцебиения плода
Мобильное приложение DopFone превращает динамик телефона в допплеровский датчик и позволяет беременным следить за сердцебиением плода между приёмами у врача. Исследования показывают приемлемую точность, но учёные предупреждают о риске усиления тревоги.
Цифровые создатели в Африке: рост и проблемы
Отчёт, представленный на саммите в Лагосе, оценивает объём цифрового креативного сектора в USD 3 billion сегодня и прогнозирует более USD 17 billion к 2030 году. Многие создатели зарабатывают очень мало, платёжные системы и ИИ создают дополнительные барьеры.
МРТ и ИИ измеряют движение жидкости в мозге
Учёные совместили МРТ и искусственный интеллект, чтобы измерить медленное движение жидкости, которое помогает удалять продукты обмена и связано с болезнью Альцгеймера. В исследовании обнаружили два пути удаления частиц и сначала проверили методы на животных.
