Озвученные собеседники: как пространственный звук влияет на наше восприятие

Автор: Денис Аветисян

Новое исследование показывает, как реалистичное звучание виртуальных ассистентов может усилить ощущение их присутствия, но и создать неожиданные эффекты в социальном взаимодействии.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

Исследование посвящено изучению влияния аудиального воплощения на восприятие собеседников-агентов, демонстрируя возможность передачи ощущения присутствия и положения агента исключительно посредством пространственной звуковой локализации и реалистичных звуковых эффектов, имитирующих взаимодействие с окружающей средой, даже при отсутствии визуального представления, например, при общении через наушники.

Влияние пространственной звуковой локализации и звуковых эффектов на ощущение присутствия и социальное восприятие разговорных агентов.

Визуальное воплощение долгое время считалось ключевым фактором усиления эффекта присутствия в общении с виртуальными агентами. В рамках исследования ‘Auditorily Embodied Conversational Agents: Effects of Spatialization and Situated Audio Cues on Presence and Social Perception’ изучалось, как звуковое воплощение — посредством пространственной локализации голоса и реалистичных звуковых эффектов окружения — может влиять на восприятие агента. Полученные результаты показали, что пространственное звучание и звуковое оформление повышают ощущение совместного присутствия, однако могут снижать оценку внимания и других социальных характеристик агента. Не приведет ли дальнейшее развитие аудиального воплощения к созданию более реалистичных и убедительных виртуальных собеседников, способных эффективно взаимодействовать с пользователями даже без визуального контакта?

Иллюзия Совместного Присутствия: Основа Социального Взаимодействия с ИИ

Эффективное социальное взаимодействие во многом зависит от субъективного ощущения «Совместного присутствия» — ключевого, но часто упускаемого из виду аспекта при разработке искусственного интеллекта. Данное ощущение, возникающее при взаимодействии с ИИ, формирует ощущение подлинности и близости, влияя на доверие и готовность к сотрудничеству. Исследования показывают, что даже минимальные нарушения в создании этого чувства — например, несинхронность движений или неестественная интонация — могут существенно снизить эффективность коммуникации и вызвать дискомфорт у пользователя. Таким образом, успешная разработка социально-ориентированного ИИ требует не только функциональности, но и тщательной проработки факторов, формирующих у человека ощущение реального взаимодействия с другим существом, что делает «Совместное присутствие» фундаментальным элементом дизайна.

Традиционные системы искусственного интеллекта зачастую сконцентрированы на эффективном выполнении поставленных задач, упуская из виду важность самого процесса взаимодействия. Это приводит к тому, что создаваемые агенты воспринимаются как отстраненные и неестественные, лишенные способности вызывать ощущение подлинного присутствия. Вместо того, чтобы стремиться к созданию полноценного социального опыта, многие разработки фокусируются исключительно на функциональности, игнорируя нюансы, формирующие ощущение совместного присутствия и эмоциональной связи. В результате, взаимодействие с такими агентами может ощущаться механическим и лишенным теплоты, что существенно снижает их полезность в контексте социальных взаимодействий и долгосрочного сотрудничества.

Для формирования ощущения совместного присутствия недостаточно лишь высокой визуальной реалистичности. Исследования показывают, что звуковая среда играет ключевую роль в создании иллюзии общего пространства. Мозг человека постоянно обрабатывает звуковые сигналы для определения местоположения источников и оценки расстояния до них. Поэтому, тщательно продуманное звуковое оформление, учитывающее направление, расстояние и характеристики звука, способно значительно усилить эффект присутствия в виртуальной или дополненной реальности. Игнорирование акустических факторов приводит к диссонансу между визуальным и слуховым восприятием, разрушая иллюзию реалистичности и снижая степень погружения в интерактивное взаимодействие.

Пространственное оформление и звуковое сопровождение оказывают существенное влияние на ощущение социального присутствия, включая ко-присутствие, распределение внимания, понимание сообщений, эмоциональное восприятие и эмоциональную взаимозависимость.

Аудиальная Реальность: Воссоздание Правдоподобного Звукового Ландшафта

Для создания убедительной звуковой среды мы используем “окружающие звуки” (ambient sound) как основу для формирования акустического контекста. Эти звуки, включающие в себя фоновые шумы окружающей среды — шум ветра, пение птиц, городская суета и т.п. — служат для определения местоположения и создания ощущения присутствия. Использование тщательно подобранных и реалистично воспроизведенных окружающих звуков позволяет добиться большей достоверности и погружения в виртуальное пространство, задавая начальную атмосферу и способствуя формированию у пользователя ощущения правдоподобия происходящего.

Звуковой дизайн использует Foley Audio — процесс воспроизведения повседневных звуков, таких как шаги, шуршание одежды, манипуляции с предметами и взаимодействие с окружением. Эти звуки записываются синхронно с визуальными действиями, обеспечивая реалистичное звуковое сопровождение и повышая степень погружения. В отличие от заранее записанных звуковых эффектов, Foley позволяет создать уникальные звуковые профили для каждого действия и поверхности, значительно улучшая ситуационную осведомленность и правдоподобность происходящего.

Важно отметить, что звуковое сопровождение не просто добавляется в качестве эффектов, а интегрируется в поведение агента для передачи его действий и намерений. Это означает, что звуки генерируются и изменяются в реальном времени, синхронизируясь с анимацией и логикой агента. Например, шаги агента изменяются в зависимости от поверхности, по которой он идет, скорость движения влияет на интенсивность звука, а звуки взаимодействия с объектами отражают тип взаимодействия и материал объекта. Такая интеграция позволяет создать более убедительное и информативное взаимодействие, поскольку звуковая составляющая становится неотъемлемой частью повествования и поведения агента.

В ходе эксперимента участники оценивали воздействие моноаудиального или пространственного звука агента, с добавлением или отсутствием фоновых звуков (<span class="katex-eq" data-katex-display="false">Foley</span>), таких как звук наливаемой воды, при этом визуальное представление агента использовалось исключительно для иллюстрации. — В ходе эксперимента участники оценивали воздействие моноаудиального или пространственного звука агента, с добавлением или отсутствием фоновых звуков ( $Foley$ ), таких как звук наливаемой воды, при этом визуальное представление агента использовалось исключительно для иллюстрации.

Пространственное Аудио и Воплощение: Оживляя Виртуального Агента

Пространственное аудио является ключевым элементом для достижения эффекта «аудиального воплощения» (Auditory Embodiment), представляя собой технологию, имитирующую направление и расстояние источников звука. Это достигается путем создания трехмерного звукового ландшафта, в котором звуки воспринимаются не как монотонный поток, а как локализованные в пространстве события. Использование пространственного аудио позволяет пользователю более реалистично воспринимать виртуальную среду и ощущать присутствие звуковых объектов, включая виртуальных агентов, за счет точной передачи их местоположения и расстояния до слушателя. Технология позволяет мозгу интерпретировать звуки как исходящие из определенной точки в пространстве, что значительно повышает уровень погружения и реализма взаимодействия.

Для реализации технологии пространственного аудио в нашем исследовании был использован Meta XR Audio SDK. Данный SDK обеспечивает точный контроль над локализацией звука и реализмом звучания, позволяя позиционировать источники звука в трехмерном виртуальном пространстве с высокой точностью. Это достигается за счет алгоритмов, моделирующих распространение звуковых волн и учитывающих факторы, такие как расстояние до источника, отражения от поверхностей и окклюзия. SDK предоставляет инструменты для динамического управления параметрами звука, что позволяет создавать убедительные и иммерсивные звуковые ландшафты, способствующие ощущению присутствия виртуального агента.

Результаты исследования показали статистически значимое влияние пространственной звуковой локализации на ощущение совместного присутствия (ко-презенса) — F(1,69) = 16.11, p < 0.001. Наблюдалось увеличение частоты поворотов головы участников на 12%, что указывает на повышенную вовлеченность и интерес к виртуальному агенту при использовании пространственного звука. Данный показатель свидетельствует о том, что реалистичная звуковая локализация способствует более естественному и убедительному взаимодействию с виртуальным персонажем.

Целью точного позиционирования звуков в виртуальной среде является создание ощущения присутствия и вовлеченности у собеседника-агента. Реализация данной задачи позволяет добиться эффекта, при котором источник звука воспринимается как находящийся в определенной точке виртуального пространства, что способствует более реалистичному взаимодействию. Позиционирование звуков учитывает как направление, так и расстояние до источника, обеспечивая более правдоподобное восприятие звуковой картины и усиливая эффект присутствия агента в виртуальной среде. Это способствует повышению степени вовлеченности пользователя в процесс коммуникации.

Для отслеживания движений головы участников исследования использовалась система из десяти камер OptiTrack, а взаимодействие с виртуальным собеседником осуществлялось через наушники с костной проводимостью Shokz OpenRun Pro и беспроводной микрофон Aisizon.

Подтверждение Присутствия: Пользовательское Исследование и Выводы

В рамках пользовательского исследования для количественной оценки ощущения совместного присутствия, или «Co-Presence», участники использовали разработанный специалистами из Networked Minds «Социальный Инвентарь Присутствия». Данный инструмент позволил выявить и измерить субъективные ощущения, связанные с взаимодействием с виртуальным агентом, выделяя ключевые аспекты, формирующие ощущение «совместности» в цифровом пространстве. Полученные данные позволили установить взаимосвязь между различными параметрами взаимодействия и степенью переживаемого чувства присутствия, что является важным шагом в создании более реалистичных и убедительных виртуальных сред.

Использование системы захвата движений OptiTrack позволило установить взаимосвязь между жестами участников исследования и звуковыми реакциями виртуального агента. Данный подход предоставил возможность детального анализа динамики взаимодействия, выявляя, как невербальные сигналы пользователей коррелируют с откликами агента. Полученные данные позволили оценить, насколько синхронность и соответствие движений и звуков влияют на восприятие взаимодействия как более естественного и убедительного, что является ключевым фактором для формирования чувства присутствия и вовлеченности в виртуальную среду.

Исследование выявило значительное влияние реалистичных звуковых эффектов (Foley) на ощущение совместного присутствия, или ко-присутствия, у участников эксперимента (F1,69 = 20.38, p < 0.001). Однако, было обнаружено и компромиссное решение: использование Foley-звуков привело к снижению концентрации внимания (F1,69 = 18.40, p < 0.001) и уменьшению общего количества произнесенных слов на 20%. Данный результат указывает на то, что, хотя реалистичные звуки усиливают ощущение присутствия, они могут отвлекать от самого взаимодействия, что необходимо учитывать при разработке систем виртуальной реальности и искусственного интеллекта.

Исследование продемонстрировало значительное усиление ощущения присутствия и социальной привлекательности при использовании пространственно-ориентированных звуковых сигналов. Данный эффект указывает на формирование более тесной связи между пользователем и виртуальным агентом. Пространственное звучание, воссоздающее реалистичное местоположение источника звука, способствует более глубокому погружению в виртуальную среду и повышает степень эмпатии к взаимодействующему агенту. Полученные данные подтверждают, что реалистичная аудио-визуальная симуляция играет ключевую роль в создании убедительного и захватывающего пользовательского опыта, способствуя формированию ощущения реального социального взаимодействия даже в виртуальной реальности.

Пространственная локализация и эффект Фоля оказывают значительное влияние на привлекательность и социальную симпатию.

Исследование, посвященное аудиальному воплощению разговорных агентов, подчеркивает сложность создания иллюзии присутствия. Авторы обнаружили, что пространственное аудио и звуковые эффекты, безусловно, повышают ощущение соприсутствия, однако могут негативно влиять на восприятие внимания и социального впечатления агента. Это подтверждает мысль о том, что алгоритмическая точность и непротиворечивость важны не только в математике, но и в создании искусственного интеллекта. Как точно заметил Дональд Кнут: «Оптимизм — это вера в то, что все будет хорошо. Пессимизм — это знание того, что это так». В данном случае, оптимистичное стремление к реалистичному взаимодействию должно быть уравновешено реалистичной оценкой возможных побочных эффектов, а алгоритм — тщательно продуман, чтобы избежать нежелательных последствий.

Куда Далее?

Представленные результаты, хотя и демонстрируют возможность усиления эффекта присутствия посредством пространственного звука и звуковых эффектов, обнажают нетривиальную дилемму. Попытка искусственно воссоздать ощущение «совместного пребывания» сталкивается с тем, что человеческое восприятие не поддается упрощенным моделям. Увеличение параметра «присутствие» не гарантирует положительного влияния на социальное взаимодействие; напротив, наблюдаемое снижение оценки внимательности агента заставляет задуматься о границах эвристических подходов. Стремление к «реалистичности» оказывается не целью, а лишь одним из возможных компромиссов.

Будущие исследования должны сосредоточиться на деконструкции механизмов, определяющих восприятие социального поведения. Недостаточно просто «добавить звуки»; необходимо понять, какие звуки, в каких контекстах, и каким образом они влияют на оценку намерений и эмоционального состояния агента. Игнорирование тонкостей невербальной коммуникации, замена сложной человеческой логики на набор триггеров — путь к созданию иллюзии, а не к истинному взаимодействию.

В конечном счете, задача состоит не в том, чтобы обмануть чувства, а в том, чтобы создать систему, способную к осмысленному диалогу. И это требует не столько усовершенствования звуковых эффектов, сколько разработки алгоритмов, способных к пониманию и адаптации к сложным нюансам человеческого общения. Иначе, любые улучшения в области аудиторного воплощения останутся лишь косметическими.

Оригинал статьи: https://arxiv.org/pdf/2601.22082.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-01-30 15:39