Воссоздание мира вокруг нас: 3D-модели из обычных видео

Автор: Денис Аветисян

Новая модель ForeHOI позволяет быстро и точно восстанавливать трехмерные объекты из видеозаписей взаимодействия рук с предметами, открывая возможности для робототехники и дополненной реальности.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

Предлагаемый подход ForeHOI использует диффузионную модель для одновременного восстановления замаскированных областей 2D-маски объекта и завершения 3D-модели, эффективно решая задачу реконструкции объектов при сильном перекрытии с рукой, что, в свою очередь, обеспечивает точную оценку 3D-позы объекта посредством последующей обработки.

Исследователи представили feed-forward модель ForeHOI, способную реконструировать 3D-объекты из монокулярных видеозаписей взаимодействия рук и объектов, совмещая предсказание 2D-маски и 3D-завершение формы.

Несмотря на значительный прогресс в реконструкции 3D-моделей рук, восстановление геометрии объектов, с которыми они взаимодействуют, остается сложной задачей из-за сильных перекрытий и сложной динамики движения. В данной работе представлена модель ‘ForeHOI: Feed-forward 3D Object Reconstruction from Daily Hand-Object Interaction Videos’, которая позволяет быстро, за одну минуту, реконструировать 3D-объекты из монокулярных видеозаписей взаимодействия рук и объектов. Ключевым нововведением является одновременное предсказание заполнения 2D-масок и завершение 3D-форм, что эффективно решает проблему перекрытий. Может ли подобный подход стать основой для создания систем, способных понимать и взаимодействовать с окружающим миром на уровне, близком к человеческому?

Задача Реального Времени: Воссоздание Трехмерного Мира

Воссоздание трехмерных объектов из видеопотока в режиме реального времени является ключевой задачей для развития робототехники и технологий дополненной и виртуальной реальности, однако представляет собой сложную научную проблему. Точность и скорость реконструкции критически важны для обеспечения надежной работы роботов в динамичной среде, а также для создания реалистичных и интерактивных виртуальных миров. Существующие методы часто сталкиваются с трудностями при обработке сложных сцен, особенно в условиях частичной видимости объектов или при быстром движении камеры. Достижение высокой производительности и детализации реконструкции требует разработки новых алгоритмов и аппаратных решений, способных эффективно обрабатывать большие объемы видеоданных и обеспечивать минимальную задержку.

Существующие методы трехмерной реконструкции объектов из видео часто сталкиваются с серьезными ограничениями, связанными с частичной или полной потерей видимости объекта — окклюзией. Это затрудняет точное воссоздание формы и текстуры, особенно в динамичных сценах. Кроме того, многие современные подходы требуют значительных вычислительных ресурсов и специализированного аппаратного обеспечения, такого как графические процессоры высокого класса или даже специализированные чипы, что делает их непрактичными для использования в робототехнике реального времени или мобильных приложениях дополненной и виртуальной реальности. Достижение высокой скорости реконструкции при сохранении точности и возможности работы на стандартном оборудовании остается одной из ключевых задач в этой области, стимулируя разработку новых алгоритмов и архитектур.

Для достижения реконструкции трехмерных объектов в режиме, близком к реальному времени, и с точностью до минуты, требуется принципиально новый подход к архитектуре систем обработки данных. Существующие методы, основанные на последовательной обработке кадров, зачастую не справляются с вычислительной нагрузкой и сложностью сцен. Разрабатываемые архитектуры всё чаще ориентируются на параллельную обработку данных, используя возможности современных графических процессоров и специализированных ускорителей. Особое внимание уделяется разработке алгоритмов, способных эффективно обрабатывать большие объемы данных и одновременно минимизировать задержку, что позволяет создавать системы, способные отслеживать динамические сцены и быстро адаптироваться к изменениям в окружающей среде. Инновационные подходы включают в себя использование нейронных сетей для прямого восстановления трехмерной геометрии из видеопотока, а также разработку новых методов оптимизации и фильтрации данных для повышения точности и стабильности реконструкции.

Современные эталоны для оценки трехмерной реконструкции, такие как HO3D и HOT3D, выявляют существенные ограничения существующих алгоритмов при работе со сложными сценами. Эти тесты демонстрируют, что большинство систем испытывают трудности при реконструкции объектов в условиях частичной видимости, быстрого движения или при наличии большого количества деталей. Особенно заметны недостатки в обработке текстур и геометрии в ситуациях, когда объекты перекрывают друг друга или находятся в условиях сложного освещения. Таким образом, существующие метрики указывают на необходимость разработки более надежных и точных методов трехмерной реконструкции, способных эффективно справляться с реальными, зачастую неидеальными, условиями съемки и обеспечивать стабильную работу в сложных сценариях.

Результаты качественного визуального сравнения на наборах данных HO3D и HOT3D демонстрируют, что неудачи в оценке положения камеры методом Structure-from-Motion COLMAP в видео HOT3D обусловлены недостаточным количеством обзоров.

ForeHOI: Трансформер Диффузии для Трехмерной Реконструкции

В основе архитектуры ForeHOI лежит Diffusion Transformer, обеспечивающий одновременное заполнение пропущенных областей на 2D масках и завершение 3D формы объекта. Данная архитектура позволяет системе решать задачи восстановления данных в двух пространственных измерениях и трехмерной реконструкции в едином процессе. Использование Diffusion Transformer позволяет эффективно моделировать вероятностное распределение данных и генерировать правдоподобные заполнения пропущенных фрагментов, а также завершать 3D модель на основе неполной информации. Такой подход обеспечивает согласованность между 2D и 3D представлениями восстанавливаемого объекта, повышая качество реконструкции.

В архитектуре ForeHOI для эффективной обработки входных видеокадров используется Diffusion Transformer, в котором ключевым элементом является извлечение признаков с помощью DINOv2. DINOv2 обеспечивает устойчивое к изменениям освещения и ракурса извлечение визуальных признаков, что позволяет системе надежно идентифицировать и отслеживать объекты на протяжении всей видеопоследовательности. Полученные признаки, представляющие собой векторные представления объектов, служат основой для последующего процесса 2D-маскировки и 3D-реконструкции, обеспечивая точность и детализацию воссоздаваемой сцены.

В архитектуре ForeHOI, двунаправленный механизм кросс-внимания (Cross-Attention) внутри трансформера обеспечивает эффективный обмен информацией между 2D-представлениями (масками) и 3D-представлениями формы. Этот механизм позволяет модели учитывать взаимосвязи между пикселями на 2D-маске и соответствующими точками в 3D-пространстве, а также наоборот. Благодаря этому, информация из 2D-пространства используется для уточнения 3D-реконструкции, и наоборот, 3D-контекст помогает в заполнении недостающих областей на 2D-маске, что значительно повышает точность и полноту реконструируемой 3D-модели.

Система ForeHOI оптимизирована для высокой скорости реконструкции, демонстрируя стабильное время обработки менее одной минуты. Достижение такой производительности стало возможным благодаря эффективной архитектуре Diffusion Transformer и оптимизированным алгоритмам обработки данных. Важно отметить, что высокая скорость не достигается за счет снижения точности реконструкции; система поддерживает высокий уровень детализации и реалистичности воссоздаваемых 3D-моделей, обеспечивая баланс между скоростью и качеством.

Качественное сравнение различных вариантов ForeHOI на наборе данных HO3D[19] демонстрирует их эффективность, а для детальной визуализации рекомендуется увеличение масштаба.

Создание Надежного Набора Данных для Обучения

Представлен синтетический набор данных, состоящий из 400 тысяч видеороликов, снабженных точными аннотациями. Каждое видео содержит маски рук, маски объектов, данные о позах и карты глубины. Аннотации включают точные границы рук и объектов в кадре, трехмерные координаты ключевых точек рук и информацию о расстоянии до объектов, что позволяет использовать данные для обучения и оценки алгоритмов компьютерного зрения, специализирующихся на взаимодействии человека с объектами.

Процесс генерации набора данных основан на использовании платформы GraspXL и опирается на обширный датасет Objaverse для создания реалистичных и разнообразных сцен. GraspXL позволяет генерировать правдоподобные захваты объектов, а использование Objaverse, содержащего большое количество 3D-моделей, обеспечивает разнообразие объектов и окружения. Комбинация этих инструментов позволяет создавать синтетические сцены, отличающиеся высоким уровнем детализации и реалистичности, что необходимо для обучения и оценки алгоритмов компьютерного зрения и робототехники. Разнообразие сцен, генерируемых таким образом, охватывает различные комбинации объектов, освещения и перспектив, что способствует повышению обобщающей способности моделей, обученных на этом наборе данных.

Оценка позы руки осуществляется с использованием Masked Structured-Learning Transformer, который использует параметрическую модель руки MANO для повышения точности. Transformer-архитектура позволяет эффективно обрабатывать пространственные зависимости между суставами руки, а модель MANO предоставляет реалистичные ограничения на кинематику и геометрию руки. Использование маскированных входных данных в Transformer способствует повышению устойчивости к шуму и окклюзиям, что критически важно для надежной оценки позы в сложных сценах. Данный подход обеспечивает высокую точность и робастность оценки позы руки, необходимые для последующего анализа взаимодействия человека с объектами.

Комбинация синтетических данных, полученных в ходе генерации, с данными, собранными в реальных условиях, существенно повышает способность модели ForeHOI к обобщению. Использование синтетических данных позволяет увеличить объем обучающей выборки и предоставить модели примеры, которые могут быть недостаточно представлены в реальных наборах данных, что особенно важно для задач, требующих распознавания сложных взаимодействий и вариаций. Экспериментальные данные демонстрируют, что обучение ForeHOI на комбинации синтетических и реальных данных приводит к значительному улучшению производительности на новых, ранее не встречавшихся сценариях и объектах, что подтверждает эффективность данного подхода для повышения устойчивости и надежности модели.

Визуализация согласования руки и объекта на наборе данных HO3D[19] позволяет детально рассмотреть соответствие, и рекомендуется увеличивать масштаб для лучшей видимости.

Производительность и Валидация

Система ForeHOI демонстрирует передовые результаты на эталонных наборах данных HO3D и HOT3D, что подтверждает значительное повышение качества реконструкции трехмерных объектов. В ходе тестирования ForeHOI превзошла существующие методы, обеспечив более точное и детальное воссоздание геометрии, что стало возможным благодаря инновационному подходу к обработке данных и оптимизации алгоритмов. Полученные результаты указывают на существенный прогресс в области трехмерной реконструкции и открывают новые перспективы для широкого спектра приложений, включая робототехнику, дополненную реальность и компьютерное зрение.

Для количественной оценки точности реконструируемой трехмерной геометрии в рамках исследования используется метрика расстояния Шамфера. Данный подход предполагает вычисление среднего расстояния между точками на реконструированной поверхности и ближайшими точками на исходной, эталонной модели. Чем меньше значение расстояния Шамфера, тем выше степень соответствия между реконструированной и оригинальной формой, что позволяет объективно сравнивать эффективность различных алгоритмов 3D-реконструкции и демонстрировать улучшение качества моделирования. Применение этой метрики обеспечивает надежную и воспроизводимую оценку точности, необходимую для валидации и сравнения предложенного метода с существующими подходами в области компьютерного зрения и робототехники.

Представленная система продемонстрировала превосходство над существующими подходами, включая HOLD, EasyHOI, HORT и MagicHOI, в задачах реконструкции человеческих рук на стандартных наборах данных HO3D и HOT3D. Оценка качества реконструкции, основанная на метриках F-score (F5 и F10), показала более высокие значения для ForeHOI, что свидетельствует о большей точности и полноте восстановленной геометрии. Кроме того, значения метрики Chamfer Distance, характеризующей отклонение восстановленной модели от реальной, оказались значительно ниже, подтверждая более высокую степень соответствия и детализацию. Полученные результаты указывают на значительный прогресс в области 3D-реконструкции человеческих рук и открывают возможности для создания более реалистичных и точных виртуальных моделей.

Система ForeHOI демонстрирует впечатляющую скорость реконструкции, позволяя создавать трехмерные модели за считанные минуты. Это существенное ускорение открывает принципиально новые перспективы для широкого спектра приложений, требующих оперативной обработки данных. В частности, становится возможным использование технологии в реальном времени для интерактивных виртуальных сред, автоматизированного моделирования, а также в системах, где требуется немедленная визуализация трехмерных объектов, например, в робототехнике и дополненной реальности. Благодаря скорости работы, ForeHOI перестаёт быть инструментом исключительно для оффлайн-анализа и становится платформой для динамичных, интерактивных приложений, требующих мгновенного отклика.

Сравнение с Hunyuan3D-3.0[60] и ReconViaGen[5] демонстрирует превосходство предлагаемого метода в детализированной визуализации, что особенно заметно при увеличении масштаба.

Исследование, представленное в данной работе, демонстрирует стремление к элегантности в решении сложной задачи 3D-реконструкции объектов из видео взаимодействий рук и объектов. Модель ForeHOI, способная выполнять эту задачу за одну минуту, впечатляет своей эффективностью и точностью. Янн Лекун однажды заметил: «Машинное обучение — это не магия, а математика». Это утверждение находит отражение в подходе, использованном в ForeHOI, где совместное предсказание 2D-маски и 3D-завершение формы опирается на строгие математические принципы и алгоритмы. Изящество модели проявляется в её способности справляться с такими проблемами, как окклюзия, что свидетельствует о глубоком понимании принципов взаимодействия света, тени и формы.

Куда же дальше?

Представленная работа, безусловно, демонстрирует элегантность подхода к реконструкции трехмерных объектов из видеозаписей взаимодействия рук и объектов. Однако, кажущаяся простота результата лишь подчеркивает глубину нерешенных задач. Скорость реконструкции, хоть и впечатляет, не отменяет необходимости дальнейшей оптимизации для работы в реальном времени на менее мощном оборудовании. Истинно красивое решение должно быть не только эффективным, но и доступным.

Особого внимания заслуживает проблема обработки окклюзий. Нынешние методы, хоть и демонстрируют прогресс, по-прежнему склонны к ошибкам в сложных сценариях. Истинное понимание геометрии объекта должно позволить модели «догадываться» о скрытых частях, а не просто заполнять пробелы статистическими шаблонами. Необходимо углубленное исследование возможностей интеграции физически обоснованных моделей деформации объектов.

В конечном счете, будущее этого направления исследований видится в создании систем, способных не просто реконструировать объекты, но и понимать их функциональное назначение, предсказывать их поведение и взаимодействовать с ними осмысленно. Это требует не только улучшения алгоритмов компьютерного зрения, но и развития принципиально новых подходов к представлению знаний и машинному обучению. Простота — это признак мастерства, но истинная красота — в гармонии между формой и смыслом.

Оригинал статьи: https://arxiv.org/pdf/2602.06226.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-02-10 00:50