Глазами и головой: как мы смотрим в виртуальной реальности

Автор: Денис Аветисян

Новое исследование выявляет индивидуальные стратегии движения глаз и головы в VR, влияющие на восприятие и возможности оптимизации систем.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

helpАнализ совместного применения функционального анализа главных компонент (fPCA) выявил различие в паттернах движения глаз и головы между абстрактной и видео-задачами, где крайние участники (например, P12 и P20 в абстрактной задаче, P1 и P20 в видео-задаче) демонстрируют выраженную специализацию в использовании либо движений глаз, либо движений головы, что отражается в распределении квартилей и плотности вероятности для каждой задачи.

Моделирование индивидуальных и популяционных тенденций координации движений глаз и головы в виртуальной реальности позволяет улучшить эффективность рендеринга и пользовательский опыт.

Несмотря на возрастающую популярность виртуальной реальности, индивидуальные различия в стратегиях движения глаз и головы при исследовании визуальной информации остаются малоизученными. В своей работе ‘The Eye-Head Mover Spectrum: Modelling Individual and Population Head Movement Tendencies in Virtual Reality’ исследователи предлагают модель, описывающую непрерывный спектр стратегий, от преобладания движений глаз до преобладания движений головы, при переходе взгляда. Анализ данных, полученных от $\mathcal{N}=87$ испытуемых, показал, что эти индивидуальные тенденции сохраняются в различных контекстах, хотя и подвержены влиянию выполняемой задачи. Как понимание этих закономерностей может быть использовано для оптимизации систем виртуальной реальности, включая адаптивную прорисовку и улучшение взаимодействия в многопользовательских средах?

Индивидуальные Стратегии Взгляда: Основа Понимания

Зрительное восприятие у людей далеко не однородно: каждый индивидуум демонстрирует уникальные паттерны координации движений глаз и головы во время визуального исследования окружающего пространства. Исследования показывают, что существуют значительные различия в том, как люди сканируют сцену, фокусируются на деталях и переключают внимание между объектами. Некоторые склонны к более активным движениям головы при фиксации взгляда, в то время как другие предпочитают полагаться преимущественно на движения глаз. Эта вариативность не является случайной ошибкой, а представляет собой фундаментальное свойство зрительной системы, отражающее индивидуальные стратегии обработки информации и, возможно, когнитивные особенности каждого человека. Понимание этих различий открывает новые перспективы для разработки более интуитивных интерфейсов и точной интерпретации визуального поведения в различных контекстах, от диагностики неврологических расстройств до улучшения эффективности обучения.

Традиционные модели зрительного восприятия часто исходят из предположения о существовании единой, оптимальной стратегии сканирования изображения, однако это упущение игнорирует значительную индивидуальную вариабельность в координации движений глаз и головы. Исследования показывают, что люди по-разному исследуют визуальную сцену, и эти различия не являются случайными ошибками, а скорее отражают фундаментальные особенности организации зрительной системы. Пренебрежение этой вариабельностью может приводить к неточным интерпретациям визуального поведения и ограничивать эффективность разработанных интерфейсов, поскольку единый подход не учитывает индивидуальные особенности зрительного поиска и обработки информации. Понимание этих различий имеет решающее значение для создания более адаптивных и интуитивно понятных систем взаимодействия с человеком.

Понимание индивидуальных различий в организации зрительного внимания имеет первостепенное значение при разработке эффективных пользовательских интерфейсов и точной интерпретации визуального поведения. Исследования показывают, что стратегии координации движений глаз и головы значительно варьируются между людьми, и игнорирование этих отличий может приводить к созданию интерфейсов, неоптимальных для определенной части пользователей. Например, интерфейс, разработанный с учетом преобладающей стратегии, может оказаться неудобным или даже нефункциональным для человека, использующего иную модель зрительного поиска. Более того, точная интерпретация визуального поведения, например, в контексте когнитивных исследований или маркетинговых анализов, требует учета индивидуальных особенностей зрительной стратегии, чтобы избежать ошибочных выводов относительно внимания и предпочтений.

В ходе пользовательского исследования для задачи абстракции участники сначала фиксировали взгляд на центральной цели, после чего переводили взгляд на появившуюся периферийную цель, следуя визуальному указателю, и подтверждали фиксацию с помощью ручного контроллера.

Деконструкция Сдвигов Взгляда: Многоаспектный Подход

Смена взгляда не является единым процессом, а включает в себя как быстрые саккады, так и плавные преследования движущихся объектов. Саккады представляют собой резкие, скачкообразные движения глаз, используемые для быстрого изменения точки фиксации, и контролируются преимущественно передними отделами мозга и быстрыми сокращениями глазодвигательных мышц. Плавные преследования, напротив, характеризуются более медленным и непрерывным отслеживанием движущегося стимула, обеспечиваются скоординированной работой гладких мышц и зависят от скорости и траектории движения объекта. Эти два типа движений глаз различаются не только по кинематическим характеристикам, но и по нейронным механизмам, лежащим в их основе, что позволяет предположить наличие отдельных путей обработки визуальной информации.

В наших исследованиях для точного измерения взаимосвязи между движениями глаз и головы при выполнении различных зрительных задач используется комбинация технологий отслеживания взгляда и виртуальной реальности. Системы отслеживания взгляда регистрируют положение и направление взгляда испытуемого с высокой точностью, в то время как виртуальная реальность позволяет создавать контролируемые и иммерсивные зрительные стимулы. Совместное использование этих технологий позволяет детально анализировать как быстрые саккады, так и плавные преследования движущихся объектов, а также оценивать вклад каждого типа движения в общую стратегию визуального поиска и обработки информации. Полученные данные используются для количественной оценки координации между движениями глаз и головы, а также для выявления закономерностей в их взаимодействии при решении различных зрительных задач.

Датасет D-SAV360 представляет собой обширный источник данных, фиксирующий естественное поведение взгляда при просмотре иммерсивных 360° видео. Он содержит информацию о траекториях взгляда, скорости саккад и движений слежения, а также о координации движений глаз и головы. Это позволяет проводить всесторонний анализ стратегий сканирования визуальной информации, включая изучение влияния контента и среды на паттерны взгляда, что критически важно для разработки систем виртуальной реальности и улучшения пользовательского опыта. Датасет включает данные, собранные с различных участников, что обеспечивает статистическую значимость полученных результатов.

Субъективные оценки и распределение предпочтительных стратегий перевода взгляда показывают различия в восприятии абстрактных и видеоматериалов.

Количественная Оценка Вариативности: Спектр Движений Глаз-Голова

Для анализа стратегий движения головы был применен функциональный метод главных компонент (Functional PCA). В результате выявлен континуальный спектр поведения, получивший название «Спектр Движений Глаз-Голова», отражающий степень зависимости испытуемых от движений головы или глаз при визуальном поиске. Данный спектр характеризует индивидуальные различия в использовании этих двух механизмов, позволяя количественно оценить, в какой мере человек полагается на движения головы для смещения взгляда, а в какой — на движения глаз.

Спектр “Глаз-Голова”, полученный с использованием функционального анализа главных компонент (ФПКА), объясняет 92.4% дисперсии в стратегиях движения головы. Данный показатель свидетельствует о высокой объясняющей способности модели в отношении индивидуальных различий в способах визуального поиска. Высокая доля объясненной дисперсии указывает на то, что данный спектр эффективно отражает основные вариации в стратегии движения головы, позволяя количественно оценивать и сравнивать различные подходы к визуальному исследованию у разных испытуемых. Такой уровень объясняющей силы делает данный метод ценным инструментом для изучения индивидуальных особенностей в контексте визуально-моторного контроля.

Модель “Мягкого шарнира” (Soft-Hinge Model) постулирует взаимосвязь между амплитудой движений головы и размером сдвига взгляда, предполагая, что более крупные движения головы коррелируют с большими сдвигами взгляда при фиксации на цели. Наш анализ данных, полученных в ходе выполнения задач “Выбор абстрактной цели” и “Свободное рассматривание”, подтвердил эту теоретическую модель. Наблюдаемая зависимость между амплитудой движений головы и величиной сдвига взгляда согласуется с предсказаниями модели, что свидетельствует о её валидности в описании стратегий визуального поиска и поддержания фиксации на цели.

В ходе выполнения задания по выбору абстрактных целей и задачи свободного обзора было установлено, что стратегии движения глаз и головы демонстрируют согласованные паттерны вдоль спектра “Глаз-Голова”, отражающего предпочтение между движениями глаз и головы. Анализ данных показал высокую корреляцию между результатами, полученными в обоих заданиях — 0.60 (p < 0.001), что свидетельствует о стабильности индивидуальных стратегий навигации по визуальным стимулам вне зависимости от предъявляемых требований к задаче. Это указывает на то, что выявленный спектр отражает устойчивые индивидуальные особенности, а не просто реакцию на конкретные условия эксперимента.

Сравнение трех моделей (линейной с EOR, модели с шарниром и мягкого шарнира) показывает, что переход от движений только глазами к движениям с участием головы может быть резким или плавным, в зависимости от используемой модели, что демонстрируется на данных одного участника.

Оптимизация Иммерсивного Опыта Путем Моделирования Пользователя

Использование моделей поведения пользователя позволяет прогнозировать индивидуальные траектории взгляда и, как следствие, оптимизировать стратегии рендеринга для достижения максимальной эффективности. Анализируя паттерны движения глаз, системы могут динамически адаптировать качество изображения, фокусируя вычислительные ресурсы на тех областях экрана, которые в данный момент находятся в поле зрения пользователя. Этот подход, известный как фовеальный рендеринг, позволяет существенно снизить нагрузку на графический процессор, не жертвуя при этом воспринимаемым качеством изображения. По сути, система «предсказывает», куда пользователь посмотрит в следующий момент, и заранее подготавливает изображение в этой области, обеспечивая плавный и отзывчивый визуальный опыт даже на устройствах с ограниченными вычислительными возможностями.

Технология фовеального рендеринга значительно снижает вычислительную нагрузку, концентрируя ресурсы обработки на той части экрана, куда направлен взгляд пользователя. Этот подход основан на особенностях человеческого зрения, где центральная область, называемая фовеа, воспринимает детализированное изображение, в то время как периферическое зрение — менее четкое. Определяя положение взгляда и учитывая индивидуальные характеристики движения глаз и головы — положение пользователя на так называемом спектре «Eye-Head Mover» — система способна динамически адаптировать качество изображения. Области, находящиеся вне фокуса внимания, рендерятся с пониженным разрешением или вовсе не рендерятся, что позволяет существенно оптимизировать производительность и добиться плавного, реалистичного визуального опыта даже на устройствах с ограниченными вычислительными возможностями.

Предсказание области видимости, в сочетании с адаптивной потоковой передачей, позволяет добиться плавной и отзывчивой визуализации даже при ограниченной пропускной способности сети. Данная технология основывается на прогнозировании направления взгляда пользователя, что позволяет заблаговременно загружать и детализировать именно ту часть изображения, на которую он, вероятнее всего, посмотрит в следующий момент. Такой подход значительно снижает требования к пропускной способности, поскольку ресурсы направляются на предварительную обработку и передачу наиболее релевантной информации. В результате, пользователь получает непрерывный и качественный визуальный опыт, избегая задержек и размытости изображения, даже при нестабильном интернет-соединении или при использовании устройств с ограниченными вычислительными ресурсами.

Разработанные модели демонстрируют высокую точность предсказания направления взгляда пользователя в различных сценариях. В ходе тестирования, при решении абстрактных задач, коэффициент детерминации $R^2$ достиг значения 0.845, при этом среднеквадратическая ошибка (RMSE) составила 3.66. При работе с видеоконтентом точность оказалась еще выше — коэффициент детерминации составил 0.907, а RMSE — 10.81. Эти показатели свидетельствуют о надежности и эффективности разработанных алгоритмов, позволяющих точно отслеживать и предсказывать направление взгляда, что является ключевым для оптимизации иммерсивных визуальных впечатлений и снижения вычислительной нагрузки.

Анализ с использованием fPCA показал, что участники распределены по спектру вариаций, отражающему вклад головы в движения взгляда, где более низкие значения (Q1, медиана) соответствуют меньшему вкладу головы, а более высокие (Q3) - большему, что позволяет идентифицировать индивидуальные особенности (обозначены точками и ID), представленные на графике в Figure 3(b). — Анализ с использованием fPCA показал, что участники распределены по спектру вариаций, отражающему вклад головы в движения взгляда, где более низкие значения (Q1, медиана) соответствуют меньшему вкладу головы, а более высокие (Q3) — большему, что позволяет идентифицировать индивидуальные особенности (обозначены точками и ID), представленные на графике в Figure 3(b).

Исследование, посвященное спектру координации движений глаз и головы в виртуальной реальности, выявляет непрерывный диапазон стратегий, используемых пользователями. Отмечается, что вариативность в использовании головы и глаз для перевода взгляда напрямую влияет на потенциальные возможности оптимизации систем. Тим Бернерс-Ли однажды заметил: «Смысл сети — в объединении людей». Эта мысль находит отражение в данной работе, поскольку понимание индивидуальных различий в координации движений позволяет создавать более инклюзивные и эффективные VR-системы, адаптированные к потребностям каждого пользователя. Изучение этого спектра открывает путь к разработке технологий, которые будут учитывать уникальные особенности восприятия и поведения каждого человека в виртуальном пространстве.

Куда же всё это ведёт?

Представленная работа выявила не просто различие в стратегиях координации глаз и головы у пользователей виртуальной реальности, но и континуум этих стратегий. Ирония в том, что стремление к максимальной детализации моделей поведения человека часто приводит к усложнению, которое нивелирует практическую пользу. Необходимо признать: предложенный спектр — это лишь приближение к истине, а индивидуальные вариации, вероятно, гораздо богаче и сложнее, чем нам кажется. Следующим шагом видится отказ от попыток создать универсальную модель и переход к адаптивным системам, способным обучаться и подстраиваться под каждого конкретного пользователя.

Очевидное ограничение — зависимость от метрик, используемых для оценки движений. Кажется парадоксальным, что для понимания естественного движения мы прибегаем к искусственным, дискретным измерениям. Более глубокое исследование потребует интеграции с нейрофизиологическими данными, позволяющими напрямую оценивать когнитивные процессы, лежащие в основе координации взгляда и головы. Истинная оптимизация рендеринга с учетом взгляда — это не просто техническая задача, а философский вопрос о том, что мы действительно видим и как мы это воспринимаем.

В конечном счете, успех этого направления исследований будет зависеть не от сложности алгоритмов, а от их простоты и элегантности. Словно гравитация, принципы, управляющие нашим зрением, должны быть очевидны и понятны. Интуиция — лучший компилятор, и только она способна создать действительно удобный и естественный интерфейс виртуальной реальности.

Оригинал статьи: https://arxiv.org/pdf/2602.06164.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-02-09 16:19