Звук изнутри: Улучшение речи в наушниках с помощью костной проводимости

Автор: Денис Аветисян

Новая система VibOmni использует вибрации костной проводимости, улавливаемые встроенным датчиком IMU, для значительного улучшения качества речи в шумной обстановке.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

Технология VibOmni повышает качество речи в носимых устройствах, извлекая чистый голос пользователя из костной проводимости вибраций.

Исследование представляет VibOmni — масштабируемую систему улучшения речи для носимых устройств, сочетающую аудио и данные с датчика IMU для эффективного шумоподавления и снижения задержки.

Компактный дизайн современных носимых устройств, таких как беспроводные наушники и VR/AR-гарнитуры, создает сложности для обеспечения качественной голосовой связи в шумной обстановке. В работе ‘VibOmni: Towards Scalable Bone-conduction Speech Enhancement on Earables’ предлагается инновационная система улучшения речи, использующая костную проводимость, улавливаемую инерциальными измерительными блоками (IMU), в сочетании с аудиосигналом. Предложенный подход VibOmni демонстрирует значительное улучшение качества и разборчивости речи, снижая задержки и обеспечивая адаптацию к динамичным условиям. Не откроет ли это путь к созданию более надежных и комфортных систем голосового управления в различных акустических средах?

Пределы Традиционного Улучшения Звука

Современные технологии улучшения звука, такие как активное шумоподавление, часто оказываются неэффективными в сложных и динамичных условиях окружающей среды. В отличие от лабораторных тестов, реальные ситуации характеризуются постоянно меняющимся фоновым шумом, эхом и реверберацией, что существенно снижает производительность алгоритмов. Например, в оживлённом кафе или на улице во время движения транспорта, система активного шумоподавления может генерировать нежелательные артефакты или даже усиливать определённые частоты, ухудшая восприятие речи и музыки. Это связано с тем, что большинство алгоритмов оптимизированы для работы в предсказуемых условиях и не способны эффективно адаптироваться к быстро меняющейся звуковой картине, что делает их применение в реальных сценариях проблематичным и требует разработки более совершенных подходов к обработке звука.

Существующие системы улучшения звука, полагающиеся исключительно на улавливание звуковых волн, распространяющихся по воздуху, оказываются уязвимыми к внешним физическим воздействиям. Например, даже незначительное дуновение ветра может создавать нежелательные шумы и искажения, значительно ухудшая качество передачи речи или прослушивания музыки. Эта проблема особенно актуальна для портативных устройств и приложений, используемых на открытом воздухе, где воздействие ветра и других факторов окружающей среды неизбежно. Кроме того, вибрации, передающиеся через корпус устройства или опору, также могут создавать помехи и снижать эффективность работы систем шумоподавления. Поэтому разработчики сталкиваются с необходимостью поиска альтернативных методов, позволяющих более эффективно фильтровать нежелательные звуки и обеспечивать стабильно высокое качество звука в различных условиях.

Существующие методы улучшения качества звука зачастую требуют значительных вычислительных ресурсов, что серьезно ограничивает их применение в устройствах с низким энергопотреблением. Сложные алгоритмы обработки сигнала, необходимые для эффективного подавления шумов и улучшения разборчивости речи, потребляют много энергии, что делает их непрактичными для портативной электроники, таких как слуховые аппараты, беспроводные наушники или устройства для голосового управления. Особенно остро эта проблема проявляется в задачах, требующих обработки аудио в реальном времени, когда необходимо обеспечить минимальную задержку между приемом сигнала и его обработкой. Поиск более энергоэффективных алгоритмов и аппаратных решений для обработки звука является ключевой задачей для расширения возможностей применения технологий улучшения звука в широком спектре устройств и приложений.

Архитектура многомодальной сети шумоподавления позволяет объединять различные типы входных данных для улучшения качества речи.

Костная Проводимость: Новый Взгляд на Чистоту Звука

Костная проводимость предоставляет дополнительный источник сигнала, отличающийся меньшей восприимчивостью к воздушным шумам и внешним помехам. В отличие от традиционной передачи звука через воздух, вибрации, передаваемые через кости черепа, менее подвержены искажениям, вызванным акустическим эхом, ветром или другими источниками внешнего шума. Это связано с тем, что вибрации передаются непосредственно во внутреннее ухо, минуя среднее ухо и барабанную перепонку, что обеспечивает более стабильный и четкий сигнал, особенно в шумных условиях окружающей среды. Данный принцип особенно полезен в ситуациях, когда требуется надежная передача звука, например, в промышленных условиях, при занятиях спортом на открытом воздухе или в условиях повышенного уровня шума.

Интегрированные в носимые аудиоустройства вибросенсоры и инерциальные измерительные блоки (IMU) обеспечивают точную фиксацию костной проводимости звука. Вибросенсоры, как правило, пьезоэлектрические акселерометры, регистрируют механические колебания костной ткани, вызванные звуковыми волнами. IMU, включающие акселерометры и гироскопы, позволяют компенсировать движения головы и тела, повышая точность захвата сигнала костной проводимости и фильтруя артефакты, вызванные физической активностью пользователя. Комбинация этих технологий обеспечивает надежный и точный захват вибраций, необходимых для последующей обработки и улучшения качества аудиосигнала.

Комбинирование традиционного воздушного аудио с данными, полученными через костную проводимость, позволяет значительно повысить надежность и устойчивость аудиопотока. Принцип заключается в использовании костной проводимости как дополнительного источника сигнала, менее подверженного воздействию внешних шумов и помех. Алгоритмы обработки аудио могут объединять эти два источника, эффективно подавляя шумы и восстанавливая чистый сигнал даже в сложных акустических условиях. Такой подход обеспечивает более четкую и разборчивую передачу звука, особенно в ситуациях с высоким уровнем окружающего шума или при использовании средств защиты слуха, где воздушная проводимость ограничена.

EarSense - это система с открытым исходным кодом для сбора данных о вибрациях, предназначенная для установки на коммерческие наушники. — EarSense — это система с открытым исходным кодом для сбора данных о вибрациях, предназначенная для установки на коммерческие наушники.

VibOmni: Многомодальное Слияние для Идеального Звука

В VibOmni для продвинутого разделения и улучшения речи используются глубокие нейронные сети (DNN) и компонент рекуррентной нейронной сети (DPRNN). DNN выполняют извлечение признаков и начальную обработку сигнала, в то время как DPRNN обеспечивает моделирование временной зависимости в аудиопотоке, что критически важно для эффективного подавления шумов и артефактов. Комбинация этих архитектур позволяет системе VibOmni достигать высокой точности разделения речи даже в сложных акустических условиях, обеспечивая более четкий и разборчивый сигнал. Использование DPRNN позволяет учитывать контекст во времени, что улучшает качество разделения по сравнению с традиционными DNN без рекуррентной составляющей.

Многомодальное слияние данных в VibOmni предотвращает переобучение глубоких нейронных сетей (DNN) за счет балансировки более богатой аудиоинформации с данными вибрации. Переобучение, возникающее при недостатке данных для обучения или чрезмерной сложности модели, может приводить к снижению обобщающей способности системы. В VibOmni, добавление данных вибрации, полученных с помощью костной проводимости, выступает в качестве регуляризатора, расширяя пространство признаков и уменьшая зависимость DNN от специфических особенностей только аудиосигнала. Такой подход позволяет модели более эффективно обобщать данные и улучшать производительность в различных акустических условиях, снижая риск переобучения и повышая стабильность работы системы.

Система VibOmni использует оценщик отношения сигнал/шум (SNR) для динамической регулировки вычислительных ресурсов в зависимости от уровня шума. Это позволяет оптимизировать производительность и энергоэффективность системы. Оценка SNR используется для адаптивного вывода, при котором сложность вычислений автоматически масштабируется: при высоком уровне шума увеличивается объем используемых ресурсов для улучшения качества разделения и усиления сигнала, а при низком уровне шума ресурсы сокращаются для снижения энергопотребления и задержки. Такой подход позволяет VibOmni эффективно работать в различных акустических условиях, сохраняя при этом оптимальный баланс между производительностью и энергоэффективностью.

В VibOmni для извлечения и обработки данных о вибрациях используются функции костной проводимости (BCF) и кратковременное преобразование Фурье (STFT). Данные, полученные с помощью BCF и STFT, дополняют существующие аудиосигналы, что позволяет значительно снизить задержку обработки. В ходе тестирования VibOmni показал 31-кратное уменьшение задержки по сравнению с системой FullSubNet (FSN), что делает его более эффективным решением для приложений, требующих обработки в реальном времени.

Система VibOmni осуществляет адаптивное управление выводом, оптимизируя свою работу в зависимости от входных данных.

Реальное Влияние и Перспективы Развития

Технология VibOmni значительно повышает разборчивость речи и эффективно снижает влияние фонового шума в различных условиях, что положительно сказывается на пользовательском опыте в приложениях, таких как hands-free связь и иммерсивный звук. В ходе испытаний VibOmni продемонстрировала снижение частоты ошибок распознавания речи (Word Error Rate, WER) на 44% в реальных условиях, что свидетельствует о существенном улучшении качества передачи голоса. Эта эффективность достигается благодаря инновационным алгоритмам обработки звука, позволяющим отфильтровать нежелательные шумы и выделить ключевые компоненты речи, обеспечивая более четкую и понятную коммуникацию даже в шумной обстановке.

Система VibOmni значительно расширяет функциональные возможности носимых аудиоустройств, таких как OmniBuds, благодаря реализации маломощных вычислений машинного обучения непосредственно на устройстве. Это позволяет обрабатывать аудиосигналы в реальном времени, не прибегая к передаче данных на внешние серверы, что снижает задержку и повышает конфиденциальность. Такой подход не только оптимизирует энергопотребление, продлевая время работы от аккумулятора, но и открывает возможности для реализации более сложных алгоритмов обработки звука непосредственно в компактных устройствах, ранее недоступных из-за ограничений вычислительных ресурсов. В результате, пользователи получают более персонализированный и адаптивный аудиоопыт, не зависящий от стабильного интернет-соединения или облачных сервисов.

Система VibOmni не просто подавляет шум, но и способна к постоянному обучению, адаптируясь к индивидуальным предпочтениям пользователя и меняющимся условиям окружающей среды. Благодаря использованию стратегий непрерывного обучения, VibOmni запоминает особенности голоса конкретного человека и характерные шумы в его привычном окружении — будь то оживлённая улица или тихий офис. Этот процесс позволяет системе со временем значительно улучшать качество передачи речи, делая её более чёткой и разборчивой, и обеспечивая персонализированный опыт прослушивания, который учитывает уникальные потребности каждого пользователя. По сути, VibOmni становится всё более эффективной в процессе использования, подстраиваясь под конкретные условия и предпочтения, что позволяет достичь оптимального качества звука в любых ситуациях.

Дальнейшие исследования VibOmni направлены на расширение возможностей интеграции мультимодальных данных, включая визуальную информацию и контекстные факторы, с целью существенного улучшения качества звука и взаимодействия с пользователем. Текущие результаты демонстрируют впечатляющие показатели: оценка PESQ достигает 2.7, а Log-Spectral Distance (LSD) улучшается на 50-80% по сравнению с базовыми методами. Более того, субъективные прослушивания показали, что VibOmni предпочли базовому варианту 87% участников, при этом система демонстрирует сопоставимую производительность, требуя при этом в 24 раза меньше объёма обучающих данных. Такие достижения открывают перспективы для создания действительно адаптивных и персонализированных аудиосистем, способных учитывать не только звуковую среду, но и визуальный контекст, значительно повышая удобство и эффективность взаимодействия.

Адаптивное обучение VibOmni позволяет системе непрерывно совершенствоваться в процессе эксплуатации.

Статья описывает VibOmni — систему улучшения речи для носимых устройств, использующую костную проводимость и данные с IMU-сенсора. Занятно, конечно, но, как показывает опыт, каждая новая попытка «улучшить» качество звука неизбежно порождает новые артефакты и задержки. Впрочем, авторы утверждают о снижении задержки, что, возможно, и является настоящим достижением. Как метко заметил Г.Х. Харди: «Математика — это наука о том, что нельзя доказать». В данном случае, можно сказать, что каждая «революционная» технология — это просто новая итерация старой проблемы, упакованная в более сложную обёртку. И, скорее всего, рано или поздно, кто-нибудь найдёт способ сломать и эту элегантную систему.

Что дальше?

Представленная система, безусловно, добавляет ещё один слой сложности в и без того перегруженный мир обработки сигналов. Теперь, вместо одного источника шума, придётся разбираться с артефактами, возникающими при сведении данных с микрофона и инерциального датчика. Уверен, через пару лет кто-нибудь заявит, что это всё решается с помощью “глубокого обучения” и получит финансирование. Но не будем забывать: каждая “революционная” технология завтра станет техдолгом. Кажется, ещё вчера все говорили о чистом аудио, а сегодня пытаются выжать максимум из вибраций кости.

Более того, возникает вопрос масштабируемости. Работает в лабораторных условиях — прекрасно. А как эта система поведет себя в реальном мире, где пользователь, например, едет в общественном транспорте или пытается разговаривать на ветру? Начинаю подозревать, что они просто повторяют модные слова, пытаясь замаскировать фундаментальную сложность задачи. Документация, как обычно, врёт о задержках.

В конечном итоге, VibOmni — это ещё один шаг к созданию идеального слухового аппарата, который, вероятно, будет требовать ежемесячной подписки на обновления алгоритмов шумоподавления. И не факт, что эти обновления действительно улучшат качество звука, а не просто добавят ещё один слой абстракции над старым, плохо работающим кодом. Когда-то это была простая оболочка bash-скрипта, а теперь… ну, вы поняли.

Оригинал статьи: https://arxiv.org/pdf/2512.02515.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-12-03 18:55