Иллюзия прикосновения: Как XR воздействует на эмоции, а не на ощущения

Автор: Денис Аветисян

Новое исследование показывает, что в смешанной реальности псевдо-тактильные ощущения, создаваемые отслеживанием рук, в первую очередь влияют на эмоциональное состояние пользователя, а не на реалистичное восприятие прикосновений.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

Исследование демонстрирует, что искусственное тактильное восприятие в расширенной реальности может быть достигнуто путем модуляции аудиосигналов, цветового свечения рук и динамики их движения, при этом визуальное представление взаимодействующих поверхностей остается нейтральным, что позволяет создать иллюзию тактильного взаимодействия.

Исследование посвящено изучению влияния аудио-визуальной псевдо-тактильной обратной связи на валентность и возбуждение пользователей в системах смешанной реальности с отслеживанием рук.

Отсутствие тактильной обратной связи в системах виртуальной и дополненной реальности, управляемых жестами, долгое время рассматривалось как техническая проблема, требующая воссоздания физических ощущений. В исследовании под названием ‘Feelings, Not Feel: Affective Audio-Visual Pseudo-Haptics in Hand-Tracked XR’ предложена альтернативная точка зрения: визуальные и звуковые эффекты, воздействующие непосредственно на виртуальную руку, могут формировать эмоциональное восприятие взаимодействия. Результаты показали, что эти псевдо-тактильные стимулы слабо вызывают ощущения прикосновения, но систематически изменяют эмоциональную окраску, влияя на валентность и возбуждение. Может ли такое аффективное воздействие стать ключевым фактором в создании более интуитивных и захватывающих интерфейсов взаимодействия в XR, переопределяя роль тактильной обратной связи?

Иллюзия Присутствия: Проблема Тактильной Обратной Связи

Расширенная реальность (XR) стремится создать эффект полного погружения, однако в значительной степени полагается на визуальные и слуховые стимулы. Несмотря на впечатляющие возможности, многие XR-системы испытывают недостаток в тактильной обратной связи — ощущения прикосновения, давления и текстуры. Это упущение снижает достоверность создаваемого мира, поскольку человек воспринимает окружающую среду комплексно, используя все органы чувств. Отсутствие тактильных ощущений может приводить к диссонансу между визуальным представлением и физическим опытом, уменьшая чувство присутствия и затрудняя естественное взаимодействие с виртуальным окружением. В результате, пользователь может ощущать себя скорее наблюдателем, чем участником событий, что негативно сказывается на вовлеченности и эффективности XR-приложений.

Переход к использованию отслеживания рук в расширенной реальности (XR) вместо традиционных контроллеров, несмотря на свою привлекательность, зачастую усугубляет проблему недостаточной сенсорной обратной связи. Отсутствие тактильных ощущений при взаимодействии с виртуальными объектами приводит к снижению ощущения присутствия и естественности взаимодействия. Когда пользователь не может физически «почувствовать» виртуальный мир, его мозг испытывает когнитивный диссонанс, что негативно сказывается на вовлеченности и способности полностью погрузиться в происходящее. Это особенно заметно при выполнении задач, требующих точности и координации, когда отсутствие тактильных ориентиров затрудняет манипуляции и снижает эффективность взаимодействия с цифровой средой.

Отсутствие тактильной обратной связи в расширенной реальности (XR) существенно снижает вовлеченность пользователя и ограничивает возможности применения технологий. Невозможность ощутить взаимодействие с виртуальными объектами, будь то текстура поверхности или сопротивление при захвате, нарушает целостность погружения и создает ощущение нереальности происходящего. Это, в свою очередь, негативно сказывается на чувстве присутствия — ощущении «нахождения там», которое является ключевым для эффективного использования XR в образовании, обучении, развлечениях и профессиональной деятельности. Чем меньше сенсорных каналов задействовано, тем сложнее мозгу поверить в виртуальную среду, что приводит к снижению концентрации внимания, уменьшению мотивации и, в конечном итоге, к менее продуктивному опыту взаимодействия.

Результаты Affect Grid показывают, что псевдо-тактильные сигналы, комбинирующие различные эффекты (шероховатость, гладкость, тепло, холод) и модальности (аудио, визуальная, аудио-визуальная), формируют отчетливые кластеры в пространстве валентности-возбуждения, отражая субъективное восприятие этих сигналов.

Псевдотактильность: Обман Чувств и Иллюзия Осязания

Псевдогаптика представляет собой перспективный подход, использующий способность мозга интегрировать визуальные и слуховые сигналы для создания иллюзии тактильных ощущений. В отличие от традиционных методов, требующих физических актуаторов, псевдогаптика полагается на восприятие пользователем взаимосвязанных визуальных и звуковых стимулов. Мозг, получая согласованные сигналы, интерпретирует их как тактильные, даже при отсутствии реального физического контакта. Этот эффект основан на нейрофизиологических процессах, где мультисенсорная интеграция формирует целостное восприятие, позволяя создавать убедительные иллюзии прикосновения без необходимости непосредственного физического воздействия.

Технология псевдогаптической обратной связи обходится без использования физических актуаторов, заменяя их визуальными и звуковыми сигналами для передачи ощущения тактильности. Визуальное представление текстуры и цвета поверхности, в сочетании с синхронизированным звуковым оформлением, позволяет воссоздать восприятие различных тактильных качеств. Например, изменение цвета и текстуры в сочетании с высокочастотным звуком может имитировать ощущение гладкости, в то время как более темные, шероховатые текстуры, сопровождаемые низкочастотными звуками, могут создавать иллюзию шероховатости. Интенсивность звука и цветовая температура могут использоваться для представления температуры поверхности, создавая ощущение тепла или холода.

Создание иллюзии тактильных ощущений, таких как гладкость, шероховатость, тепло или холод, достигается посредством точной синхронизации визуальных и звуковых сигналов. Визуальное представление текстуры поверхности, включающее детализацию и цветовые характеристики, комбинируется со звуковым сопровождением, имитирующим характерные звуки при контакте с данными материалами. Например, гладкая поверхность может сопровождаться высокочастотным, приглушенным звуком, в то время как шероховатая — более низкочастотным и громким. Точное соответствие между визуальным представлением и звуковым сопровождением позволяет мозгу интегрировать эти сигналы, формируя у пользователя ощущение физического контакта, что существенно повышает реалистичность и вовлеченность в виртуальный опыт.

В основе иллюзии псевдотактильных ощущений лежит концепция визуально-моторной связи (Visuomotor Coupling), которая опирается на устоявшиеся нейронные ожидания пользователя. Эта связь подразумевает, что мозг автоматически сопоставляет визуальную информацию о текстуре и свойствах поверхности с ожидаемыми тактильными ощущениями при взаимодействии с ней. Когда визуальные стимулы, такие как изображение шероховатой поверхности, согласуются с соответствующими звуковыми сигналами и отсутствием физического сопротивления, мозг интерпретирует это как тактильное взаимодействие, даже если такового на самом деле не происходит. Нарушение этой связи, например, несоответствие между визуально гладкой поверхностью и звуком трения, мгновенно разрушает иллюзию и вызывает ощущение неестественности.

Оценка Восприятия: Эмоциональный Отклик на Иллюзии

В ходе исследования осуществлялась манипуляция восприятием тактильных характеристик — гладкости и шероховатости, а также температуры — горячего и холодного. Эти характеристики не передавались напрямую, а создавались посредством визуальных и слуховых сигналов. Целью являлось изучение влияния мультисенсорной стимуляции на субъективное восприятие, без фактического воздействия на тактильные или температурные рецепторы. Использовались комбинации визуальных и аудиальных стимулов для создания иллюзии различных текстур и температур, что позволило оценить вклад каждого канала в формирование перцептивного опыта.

В ходе исследования участникам предъявлялись псевдотактильные эффекты, имитирующие ощущения гладкости, шероховатости, тепла и холода. Для оценки субъективного опыта использовалась методика Affect Grid, позволяющая измерить эмоциональную реакцию участников по шкалам валентности и возбуждения. Это позволило исследователям зафиксировать, как различные мультимодальные стимулы (визуальные и слуховые) влияют на субъективное переживание, связанное с предполагаемыми тактильными и температурными ощущениями, и оценить степень выраженности этих эффектов.

Результаты исследования показали, что псевдо-тактильные стимулы в первую очередь формируют аффективный опыт, определяя валентность и уровень возбуждения, а не вызывая фактические тактильные или температурные ощущения. Анализ данных, полученных с помощью Affect Grid, продемонстрировал, что манипуляции визуальными и звуковыми сигналами, имитирующими гладкость/шероховатость и тепло/холод, приводят к изменениям в субъективной оценке эмоционального состояния испытуемых, в то время как объективных показателей, указывающих на восприятие реальных тактильных или температурных характеристик, зафиксировано не было. Таким образом, псевдо-тактильные эффекты следует рассматривать как мощный инструмент воздействия на эмоциональную сферу, а не как средство создания иллюзии физического ощущения.

Результаты исследования показали, что аудиостимулы оказывают значительное влияние на уровень возбуждения (arousal) испытуемых. Оценка “Звуковая Требовательность” (Sound Demand) для чисто аудио-стимулов составила 4.17, а для аудио-визуальных — 4.00. Эти показатели статистически значимо выше, чем для чисто визуальных стимулов (1.75, p < 0.001), что указывает на преобладающую роль звука в формировании психофизиологического состояния возбуждения в рамках данного эксперимента.

Анализ данных показал, что визуальные стимулы оказывают значительное влияние на оценку эмоциональной окраски (валентности) испытуемых. Средний показатель “Визуального спроса” составил 4.08, что статистически значимо выше (p = 0.027) показателя “Аудио-визуального спроса” (3.08). Кроме того, “Спрос на синхронизацию” (timing demand) при использовании только визуальных стимулов был значительно выше (4.00) по сравнению с использованием только аудио стимулов (3.08, p = 0.005), что указывает на более выраженное влияние визуальной информации на восприятие и оценку эмоционального состояния.

Влияние на Воплощенное Взаимодействие и Перспективы Развития

Исследование продемонстрировало значительный потенциал псевдо-тактильных ощущений в усилении эффекта присутствия и погружения в расширенных (XR) средах. Вместо непосредственного физического контакта, система манипулирует восприятием, создавая иллюзию осязания, что позволяет пользователям ощущать более тесную связь с виртуальным миром. Это достигается за счет стимуляции других органов чувств, обманывая мозг и формируя убедительное ощущение взаимодействия с виртуальными объектами. Подобный подход открывает новые возможности для разработки интуитивно понятных и увлекательных интерфейсов, способных значительно повысить реалистичность и естественность взаимодействия человека с цифровой средой, что особенно важно для приложений в обучении, развлечениях и профессиональной деятельности.

Исследования показали, что манипулирование воспринимаемыми ощущениями без физического контакта способно значительно усилить эффект воплощенного взаимодействия, позволяя пользователям ощущать более тесную связь с виртуальным миром. Вместо непосредственного физического воздействия, система использует сенсорные иллюзии, обманывая мозг и создавая убеждение о наличии тактильных ощущений. Этот подход, известный как псевдо-тактильность, позволяет пользователю взаимодействовать с виртуальными объектами, как если бы они были реальными, что приводит к повышению уровня погружения и реалистичности опыта. Подобная технология открывает новые возможности для создания интуитивно понятных и захватывающих интерфейсов, где взаимодействие с цифровым контентом становится более естественным и ощутимым, стирая границы между физическим и виртуальным мирами.

Исследование принципов кросс-модального восприятия, продемонстрированное в данной работе, имеет далеко идущие последствия для проектирования пользовательских интерфейсов и опыта взаимодействия с технологиями в целом. Вместо того чтобы полагаться исключительно на один канал сенсорного ввода, эффективный дизайн может использовать взаимодействие между различными модальностями — например, визуальной, слуховой и тактильной — для создания более целостного и интуитивно понятного опыта. Это позволяет, например, усилить восприятие информации или создать иллюзию присутствия, даже если физическое взаимодействие ограничено. Принципы, выявленные в исследовании псевдо-тактильных ощущений, могут быть применены к разработке систем уведомлений, игровых интерфейсов и даже в сфере обучения и реабилитации, значительно повышая эффективность и удобство использования различных технологических решений.

Перспективные исследования направлены на усовершенствование псевдо-тактильных ощущений посредством модуляции движения и цветового излучения. Предполагается, что комбинирование динамических визуальных сигналов — например, изменение яркости или цвета виртуального объекта в момент предполагаемого касания — с синхронизированными движениями, имитирующими импульс или деформацию, способно значительно усилить иллюзию тактильного контакта. Такой мультисенсорный подход позволит создать более убедительные и реалистичные ощущения, преодолевая ограничения, связанные с отсутствием физического взаимодействия в виртуальной или дополненной реальности. Оптимизация этих параметров, включая частоту, амплитуду и пространственное распределение визуальных и кинетических стимулов, может привести к разработке принципиально новых методов создания иммерсивных и интуитивно понятных пользовательских интерфейсов, расширяющих возможности взаимодействия с цифровым миром.

Исследование, представленное в данной работе, подчеркивает, что восприятие в смешанной реальности определяется не столько реалистичностью тактильных ощущений, сколько влиянием на эмоциональное состояние пользователя. Акцент смещается с воссоздания физических стимулов на формирование аффективного отклика — валентности и возбуждения. Это согласуется с глубокой убежденностью Андрея Николаевича Колмогорова: «Математика — это искусство невозможного». В контексте данного исследования, создание иллюзии тактильных ощущений, не опирающихся на физическую реальность, действительно требует математической элегантности и строгости, чтобы эффективно воздействовать на субъективное восприятие и формировать желаемый аффективный отклик. Доказательство эффективности такого подхода должно быть основано на строгом анализе, а не просто на результатах тестов.

Куда Ведет Нас Иллюзия?

Представленные результаты, хотя и демонстрируют влияние направленных псевдогаптических сигналов на аффективное состояние, поднимают вопрос о фундаментальной природе восприятия. Вместо того чтобы стремиться к совершенству в воспроизведении физических ощущений, необходимо признать, что человеческий мозг склонен заполнять пробелы, конструируя реальность на основе неполных данных. Будущие исследования должны сосредоточиться на точной параметризации аффективного пространства — не просто валентности и возбуждения, но и более сложных эмоциональных оттенков — и разработке алгоритмов, которые намеренно эксплуатируют эти когнитивные искажения.

Очевидным ограничением является зависимость эффекта от контекста и индивидуальных различий. Эффективность псевдогаптической иллюзии, вероятно, снижается по мере повышения когнитивной нагрузки или изменения эмоционального фона. Критически важным представляется разработка адаптивных систем, способных динамически корректировать параметры воздействия на основе биометрических данных и анализа поведения пользователя. Игнорирование этих факторов приведет к созданию систем, работающих лишь на узком круге испытуемых, что недопустимо с точки зрения математической строгости.

В конечном счете, успех данного направления исследований зависит от способности выйти за рамки простого «обмана» чувств. Необходимо разработать теоретическую основу, описывающую механизмы формирования аффективного опыта на основе мультисенсорной интеграции. Только тогда станет возможным создание действительно эффективных и предсказуемых систем, способных управлять эмоциональным состоянием человека не через имитацию физических ощущений, а через тонкую манипуляцию его когнитивными процессами.

Оригинал статьи: https://arxiv.org/pdf/2602.23747.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-03-02 09:02