Взгляд и Движение: Новая Модель для Восстановления и Генерации Траектории Взгляда

Автор: Денис Аветисян

Исследователи разработали инновационный подход, объединяющий данные о движении головы и глаз для точного восстановления и реалистичного предсказания направления взгляда.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

Неизбежная неполнота данных мобильного айтрекинга преодолевается HAGI++, новой мультимодальной диффузионной моделью, использующей скоординированные движения глаз, головы и, при наличии, запястий, что позволяет не только восстанавливать утерянные данные, но и генерировать информацию о взгляде непосредственно на основе движений головы даже в XR-гарнитурах, не оснащённых айтрекером, демонстрируя значительное снижение погрешности и повышение реалистичности траекторий взгляда по сравнению с существующими методами.

Представленная модель HAGI++ использует диффузионные модели и мультимодальное слияние данных с носимых датчиков для повышения точности и реалистичности генерации траекторий взгляда.

Несмотря на широкое применение мобильного айтрекинга в исследованиях поведения и взаимодействии человек-компьютер, пропуски в данных, вызванные морганием или проблемами с отслеживанием зрачка, остаются существенной проблемой. В данной работе представлена модель HAGI++: Head-Assisted Gaze Imputation and Generation, использующая мультимодальный подход на основе диффузионных моделей для восстановления недостающих данных взгляда, впервые учитывающий корреляцию между движениями головы и глаз. Эксперименты показали, что HAGI++ превосходит существующие методы как в импутации данных, так и в генерации реалистичных траекторий взгляда, используя информацию от датчиков положения головы и даже запястья. Способна ли предложенная методика существенно повысить точность анализа взгляда в реальных условиях и открыть новые возможности для взаимодействия с пользователем?

Взгляд сквозь шум: вызов точной реконструкции

Отслеживание движения глаз с помощью мобильных устройств критически важно для понимания поведения человека, однако данные часто бывают неполными из-за ограничений сенсоров и естественных движений головы. Традиционные методы испытывают трудности при реалистичной реконструкции, что сказывается на достоверности анализа. Точная реконструкция требует моделей, учитывающих взаимосвязь движений глаз, головы и рук. Игнорирование этих связей приводит к упрощенным моделям, не отражающим реальную сложность поведения.

В ходе кросс-датасетной оценки алгоритмы восстановления взгляда демонстрируют различную точность в зависимости от степени пропущенных данных (10%, 30%, 50%, 90%), при этом движения глаз, полученные из реальных данных, служат основой для сравнения.

В конечном итоге, любая попытка восстановить картину мира по фрагментам – это всегда игра с неполнотой, и каждое восстановленное мгновение – лишь гипотеза, требующая проверки.

HAGI++: многомерная диффузия для восстановления взгляда

HAGI++ – новая архитектура диффузионной модели для импутации взгляда, явно включающая координацию глаз-головы и глаз-руки в качестве условий. Данный подход позволяет более точно реконструировать направление взгляда, учитывая взаимосвязь движений. Модель использует фреймворк условной диффузионной модели и Feature-wise Linear Modulation (FiLM) для динамической адаптации реконструкции на основе позы головы и рук, обеспечивая гибкость и точность.

В ходе оценки на датасете Nymeria, разработанный метод демонстрирует более высокую точность генерации взгляда, используя данные только с обычных носимых устройств, по сравнению с современным методом Pose2Gaze, требующим полной информации о позе тела.

Для точного отслеживания движений головы HAGI++ использует методы одновременной локализации и построения карты (SLAM) и оценки позы. Это обеспечивает важный контекст для предсказания взгляда, поскольку направление взгляда тесно связано с положением головы в пространстве.

Валидация и производительность на различных наборах данных

Комплексная оценка на наборах данных Nymeria, Ego-Exo4D и HOT3D демонстрирует превосходство HAGI++ над существующими методами. Полученные результаты подтверждают повышенную точность и реалистичность реконструируемых траекторий взгляда. Количественный анализ показывает снижение средней угловой ошибки (MAE) на 25.3% по сравнению с современными подходами, а также улучшение MAE на 17.6% при 100% отсутствии данных, по сравнению с методом Pose2Gaze.

Расхождение Дженсена-Шеннона (JS) остается сопоставимым с показателями современных методов, что указывает на то, что HAGI++ генерирует траектории взгляда с правдоподобными распределениями скорости.

Влияние и перспективы в XR и за его пределами

Разработанный алгоритм HAGI++ демонстрирует высокую точность в восстановлении данных о направлении взгляда, что критически важно для улучшения пользовательского опыта и взаимодействия в XR-гарнитурах. Обеспечивая надежное отслеживание взгляда даже при наличии неполных или зашумленных данных, HAGI++ позволяет создавать более естественные и интуитивно понятные интерфейсы для приложений виртуальной и дополненной реальности.

Дальнейшие исследования направлены на расширение возможностей HAGI++, включая интеграцию дополнительных модальностей, таких как анализ мимики и понимание контекста сцены, что позволит повысить его устойчивость и обобщающую способность. Если система не может быть взломана, значит, мы её ещё недостаточно поняли.

Исследование HAGI++ демонстрирует стремление понять и воссоздать сложные закономерности координации взгляда, головы и рук. Этот подход к импутации и генерации данных взгляда, использующий диффузионные модели, напоминает попытку реверс-инжиниринга естественной системы восприятия. Как заметил Брайан Керниган: “Простота – это высшая степень совершенства”. В данном контексте, простота заключается в элегантном использовании мультимодальных данных для достижения высокой точности. Модель HAGI++ словно взламывает систему координации движений, раскрывая её внутренние механизмы и позволяя воссоздавать реалистичные траектории взгляда, что особенно ценно для приложений, требующих естественного взаимодействия человека и компьютера.

Что дальше?

Представленная работа, безусловно, демонстрирует способность модели HAGI++ ловко жонглировать данными взгляда, головы и рук. Но, как и в любом фокусе, истинный вопрос заключается не в том, что было показано, а в том, зачем. Восстановление траектории взгляда – это лишь симптом, а не болезнь. Болезнь – это наше ограниченное понимание того, как мозг координирует внимание, движение и намерение. Следующий шаг, очевидно, – не улучшение точности импутации, а разрушение самой необходимости в ней. Зачем восстанавливать сигнал, если можно предвидеть его появление, угадывая желание, скрытое за движением головы?

Очевидным ограничением остается зависимость от носимых датчиков. Пока мы привязаны к железу, мы не освобождены от шума и погрешностей. Будущее, вероятно, лежит в разработке методов, способных извлекать информацию о взгляде из более тонких сигналов – микровыражений лица, изменений сердечного ритма, даже паттернов электромагнитного излучения мозга. Или, что еще более радикально, в создании систем, которые просто предполагают, куда смотрит человек, основываясь на контексте и вероятности.

В конце концов, задача не в том, чтобы скопировать взгляд, а в том, чтобы понять, что он означает. HAGI++ – это умелый инструмент, но лишь инструмент. Истинный прогресс потребует от нас не просто улучшать алгоритмы, а переосмысливать само понятие внимания и его роль в сознании. Иначе, все наши усилия останутся лишь ловким, но бессмысленным жонглированием данными.

Оригинал статьи: https://arxiv.org/pdf/2511.02468.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-11-05 21:00