Тепловая Сфера: Восстановление 3D-сцен из RGB и Тепловидения

Автор: Денис Аветисян

Новый подход объединяет визуальную и тепловую информацию для создания более точных и детализированных трехмерных моделей окружения.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

Предложенная схема ThermoSplat оптимизирует 3D гауссовские примитивы с разделенными свойствами, используя динамическую модуляцию FiLM для передачи структурных априорных знаний из теплового спектра в синтез видимой текстуры и адаптивное геометрическое разделение для устранения несоответствий между видимым и инфракрасным спектрами, а также гибридный конвейер рендеринга, объединяющий явные сферические гармоники (SH) с неявным нейронным декодированием для сохранения высокочастотных деталей и обеспечения семантической согласованности между модальностями.

В статье представлена ThermoSplat — инновационная система 3D Gaussian Splatting, использующая модуляцию признаков и геометрическое разделение для согласованного восстановления сцен по RGB и тепловым изображениям.

Восстановление сцен по разномодальным данным, объединяющим видимый и тепловой спектры, критически важно для надежного восприятия окружающей среды в различных условиях, однако существующие подходы к 3D Gaussian Splatting (3DGS) испытывают трудности при переходе к мультиспектральным сценариям. В работе ‘ThermoSplat: Cross-Modal 3D Gaussian Splatting with Feature Modulation and Geometry Decoupling’ предложен новый фреймворк, использующий активную модуляцию признаков и адаптивное разделение геометрии для эффективного восстановления сцен. Предложенный подход ThermoSplat позволяет учитывать различия в геометрии и корреляции между модальностями, динамически адаптируя общие латентные признаки и выполняя независимую растеризацию для теплового канала. Не откроет ли это путь к более robustным и детализированным мультиспектральным 3D-реконструкциям и расширению возможностей восприятия в сложных условиях?

За гранью видимого: Почему одной RGB недостаточно

Традиционные методы трехмерной реконструкции, основанные на анализе видимого света (RGB), демонстрируют значительные ограничения в условиях недостаточной освещенности или при наличии препятствий, скрывающих объекты. Принцип работы этих систем предполагает захват и обработку информации, отраженной от поверхности объекта в видимом спектре, что делает их уязвимыми к изменениям освещения и неспособными эффективно работать в темноте или при сильном задымлении. В подобных ситуациях качество получаемой трехмерной модели резко снижается, теряются детали и возникает необходимость в альтернативных подходах, способных преодолеть эти ограничения и обеспечить надежную реконструкцию даже в сложных условиях.

Интеграция данных теплового инфракрасного излучения значительно повышает устойчивость трехмерной реконструкции к изменениям освещения и позволяет лучше понимать структуру объектов, особенно в сложных условиях. В то время как видимый свет отражает лишь поверхностные характеристики, тепловое излучение отражает температуру, что позволяет выявлять скрытые детали и контуры даже при отсутствии видимого света или при наличии препятствий. Однако, использование тепловых данных сопряжено с рядом уникальных сложностей. Разрешение тепловизоров обычно ниже, чем у обычных камер, а температурные различия могут быть незначительными, требуя сложных алгоритмов обработки для извлечения полезной информации. Кроме того, тепловое излучение подвержено влиянию различных факторов, таких как влажность и отражение от окружающих поверхностей, что требует тщательной калибровки и компенсации.

Существующие методы многомодальной 3D-реконструкции зачастую не в полной мере используют взаимодополняющую информацию, предоставляемую RGB и тепловизионными сенсорами. Вместо глубокой интеграции данных, многие подходы ограничиваются простым наложением тепловых изображений на RGB-модели, игнорируя ценные структурные детали, проявляющиеся в тепловом спектре, особенно в условиях низкой освещенности или частичной видимости. Это приводит к неоптимальным результатам, где точность и надежность реконструкции остаются ограниченными. Более совершенные алгоритмы должны учитывать различные характеристики каждого типа данных, применяя адаптивные методы слияния, чтобы создать более полное и точное представление трехмерной сцены, эффективно используя сильные стороны каждого сенсора.

Предложенный метод синтеза новых видов позволяет получать более точные изображения и детализированные структуры по сравнению с передовыми методами мультиспектральной реконструкции, такими как ThermalGaussian, MS-Splattingv2, MMOne и 3DGS, на наборе данных RGBT-Scenes.

3D Gaussian Splatting: Основа для высококачественной визуализации

Метод 3D Gaussian Splatting (3DGS) зарекомендовал себя как эффективный подход к высококачественной и оперативной 3D-визуализации. В основе метода лежит представление сцены посредством деформируемых гауссовых примитивов, что позволяет достичь впечатляющего уровня детализации и скорости рендеринга. В отличие от традиционных методов, требующих больших вычислительных ресурсов для обработки сложных геометрических моделей, 3DGS обеспечивает компромисс между качеством изображения и производительностью, делая его перспективным для приложений, требующих интерактивной визуализации и реального времени, таких как виртуальная и дополненная реальность.

Метод 3D Gaussian Splatting (3DGS) достигает высокой визуальной точности и скорости рендеринга благодаря представлению сцены в виде деформируемых гауссовых примитивов. Вместо традиционных представлений, таких как полигональные сетки или воксели, 3DGS использует трехмерные гауссовы распределения, параметры которых (положение, поворот, масштаб, аффинные деформации и цвет) оптимизируются для реконструкции сцены. Такой подход позволяет эффективно представлять сложные детали и текстуры с относительно небольшим количеством параметров, что значительно снижает вычислительные затраты на рендеринг и обеспечивает высокую частоту кадров. Эффективность достигается за счет использования дифференцируемого рендеринга, позволяющего оптимизировать параметры гауссовых примитивов непосредственно на основе ошибки между рендереным изображением и реальным изображением сцены.

Стандартные методы 3D Gaussian Splatting (3DGS) разработаны для обработки данных, полученных из одного источника, например, изображений. Применительно к мультимодальным данным, включающим, например, данные лидара, глубинные карты и текстурные изображения, стандартные подходы требуют модификаций. Непосредственное объединение данных из разных модальностей без адаптации приводит к артефактам и снижению качества рендеринга. Необходимы алгоритмы для согласования и эффективного объединения представлений Gaussian splats, полученных из различных источников, что включает в себя калибровку сенсоров, компенсацию различий в масштабе и разрешении, а также разработку функций потерь, учитывающих особенности каждой модальности. Эффективная интеграция мультимодальных данных в 3DGS позволяет создавать более полные и реалистичные 3D-сцены.

Отсутствие геометрической развязки в процессе тепловой визуализации приводит к переносу резких текстур и высокочастотного шума из видимого спектра на результирующее тепловое изображение.

ThermoSplat: Мост между спектрами с адаптивной геометрией

ThermoSplat представляет собой новую кросс-модальную систему 3D Gaussian Splatting, использующую как RGB, так и данные теплового инфракрасного излучения. В отличие от традиционных методов, работающих только с визуальными данными, ThermoSplat объединяет информацию из обоих спектров для создания более полных и точных 3D-моделей. Данные теплового излучения используются не как текстура, а как дополнительный канал информации, влияющий на процесс реконструкции геометрии и свойств сплэтов. Такой подход позволяет системе эффективно использовать структурные особенности, выявляемые тепловым излучением, для улучшения качества и достоверности 3D-реконструкции, особенно в условиях низкой освещенности или при реконструкции объектов с низкой текстурой.

В ThermoSplat используется Feature-Induced Layer Modulation (FiLM) для динамической адаптации общих латентных представлений на основе априорных структурных данных, полученных из тепловизионных изображений. Механизм FiLM позволяет модулировать активации слоев нейронной сети, используя информацию из теплового спектра для повышения значимости признаков, релевантных для реконструкции геометрии и текстур. Это достигается путем применения аффинных преобразований к выходам слоев, где параметры этих преобразований определяются на основе тепловых структурных признаков. В результате, FiLM способствует более эффективной экстракции признаков и улучшает качество реконструируемой 3D-модели за счет интеграции дополнительной информации из теплового спектра.

Механизм Modality-Adaptive Geometric Decoupling позволяет независимо корректировать геометрию в инфракрасном спектре, что повышает точность реконструкции. В отличие от традиционных методов, объединяющих RGB и инфракрасные данные на ранних стадиях обработки, ThermoSplat разделяет геометрические параметры для каждой модальности. Это достигается путем использования отдельных наборов параметров деформации для инфракрасного излучения, позволяя адаптировать геометрию к специфическим особенностям теплового сигнала, таким как отражения и излучение. В результате, алгоритм способен более точно восстанавливать трехмерную структуру объектов, особенно в условиях низкой освещенности или при наличии окклюзий, где информация из инфракрасного спектра является критически важной.

В рамках ThermoSplat интеграция тепловой информации в процесс рендеринга осуществляется посредством динамической модуляции скрытых представлений, обусловленной тепловыми структурными приоритетами. Это позволяет использовать данные теплового излучения для уточнения геометрии и текстур 3D-моделей, что приводит к повышению их устойчивости к изменениям освещения и улучшению информативности, особенно в условиях низкой видимости или при анализе объектов с различной температурой поверхности. В результате, созданные 3D-модели демонстрируют повышенную точность реконструкции и содержат дополнительную информацию о тепловых характеристиках сцены, недоступную при использовании только RGB-данных.

Восстановление карт признаков на этапе растеризации позволяет воссоздать RGB-тепловизионное изображение, при этом различие между <span class="katex-eq" data-katex-display="false">\mathcal{A}_{f}</span> и <span class="katex-eq" data-katex-display="false">\mathcal{A}_{f(t)}</span> заключается лишь в используемой прозрачности. — Восстановление карт признаков на этапе растеризации позволяет воссоздать RGB-тепловизионное изображение, при этом различие между $\mathcal{A}_{f}$ и $\mathcal{A}_{f(t)}$ заключается лишь в используемой прозрачности.

Оценка производительности и валидация на RGBT-Scenes

ThermoSplat подвергся всесторонней оценке на наборе данных RGBT-Scenes, который является общепринятым эталоном для мультимодальной 3D-реконструкции. RGBT-Scenes содержит сцены, зафиксированные как в видимом, так и в инфракрасном спектрах, что позволяет оценить способность алгоритмов объединять данные из различных сенсоров для создания полных 3D-моделей. Набор данных включает в себя разнообразные сцены с различными уровнями сложности, включая объекты с отражающими и прозрачными поверхностями, а также сцены с недостаточной освещенностью, что делает его идеальным инструментом для оценки надежности и точности алгоритмов 3D-реконструкции.

Количественная оценка производительности ThermoSplat на наборе данных RGBT-Scenes, выполненная с использованием метрик PSNR, SSIM и LPIPS, демонстрирует превосходство над существующими методами. Достигнуты значения PSNR 0.34 дБ для RGB и 0.19 дБ для тепловизионных данных, что превышает показатели лучшего конкурента — MMOne. Данные метрики подтверждают, что предложенный подход обеспечивает более точную и качественную реконструкцию 3D-сцен по сравнению с альтернативными решениями.

Визуальная оценка результатов, полученных с использованием ThermoSplat, подтверждает повышение качества и устойчивости 3D-реконструкции, особенно в сложных условиях освещения и геометрии сцен. Анализ реконструированных изображений демонстрирует более четкую прорисовку деталей и снижение артефактов по сравнению с существующими методами, что подтверждается как в стандартных, так и в сложных сценариях, включающих низкую освещенность, наличие отражающих поверхностей и сложные геометрические формы. Данные визуализации позволяют оценить способность ThermoSplat эффективно интегрировать данные с RGB и тепловизионных датчиков для получения более полных и точных 3D-моделей даже в неблагоприятных условиях.

Архитектура ThermoSplat обеспечивает интеграцию данных с тепловизионных датчиков для создания более полных и точных трехмерных реконструкций. В отличие от методов, использующих только RGB-данные, ThermoSplat комбинирует визуальную информацию с тепловыми характеристиками сцены, что позволяет эффективно восполнять пробелы в реконструкции, вызванные недостаточной видимостью или сложными условиями освещения. Такой подход особенно полезен в задачах, где важна информация о температуре объектов, или в ситуациях с низким уровнем освещенности, где тепловизионные данные предоставляют дополнительную информацию о геометрии сцены.

Перспективы развития: Расширяя горизонты мультимодального восприятия

Разработка ThermoSplat закладывает прочный фундамент для дальнейших исследований в области многомодальной 3D-реконструкции. Данный подход, объединяющий тепловизионные данные с визуальной информацией, демонстрирует перспективность интеграции различных сенсорных модальностей для создания более полных и точных трехмерных моделей объектов. Полученные результаты открывают возможности для разработки новых алгоритмов, способных эффективно обрабатывать и объединять данные, поступающие из различных источников, преодолевая ограничения, свойственные традиционным методам 3D-реконструкции. Перспективы включают создание систем, способных адаптироваться к различным условиям освещения и окружению, а также более реалистичное и интерактивное воссоздание окружающей среды в виртуальной реальности и робототехнике.

Перспективы развития технологии ThermoSplat тесно связаны с интеграцией дополнительных сенсорных модальностей, таких как датчики глубины или LiDAR. Включение данных о глубине позволит существенно повысить точность и полноту трехмерной реконструкции объектов, особенно в сложных условиях освещения или при наличии текстурных неоднородностей. Комбинирование тепловизионных данных с данными LiDAR позволит создавать более детальные и реалистичные модели, учитывающие не только температуру поверхности, но и ее геометрию. Такой подход особенно важен для приложений, требующих высокой точности и детализации, например, в робототехнике, автономном вождении и создании цифровых двойников реальных объектов. Сочетание различных сенсорных данных открывает возможности для создания более надежных и интеллектуальных систем восприятия окружающего мира.

Исследования в области адаптивных методов рендеринга открывают перспективные пути к созданию более реалистичных и захватывающих пользовательских опытов. Принцип заключается в интеллектуальном объединении данных, полученных из различных сенсорных модальностей — например, визуальной информации с данными, полученными от датчиков глубины или LiDAR. Такой подход позволяет компенсировать недостатки каждой отдельной модальности, используя их взаимное дополнение. Адаптивный рендеринг динамически регулирует качество и детализацию изображения в зависимости от доступности и надежности данных, что позволяет создавать визуально правдоподобные сцены даже при неполной или зашумленной информации. В результате, системы способны генерировать более убедительные и интерактивные 3D-реконструкции, расширяя возможности в таких областях, как виртуальная и дополненная реальность, робототехника и компьютерное зрение.

Данная работа открывает перспективы для создания более устойчивых и интеллектуальных систем, способных воспринимать и взаимодействовать с окружающим миром на качественно новом уровне. Развитие технологий, представленных в исследовании, позволит создавать устройства, способные объединять информацию, полученную из различных источников, для формирования полной и точной картины реальности. Это, в свою очередь, приведет к появлению систем, способных адаптироваться к сложным условиям, эффективно решать задачи в динамичной среде и, в конечном итоге, обеспечивать более естественное и интуитивно понятное взаимодействие человека с технологиями. Подобные системы найдут применение в широком спектре областей — от робототехники и автономного транспорта до виртуальной и дополненной реальности, а также в разработке интеллектуальных ассистентов и систем безопасности.

Исследование ThermoSplat, стремящееся объединить RGB и тепловизионные данные для 3D реконструкции, вызывает тихую усмешку. Авторы предлагают модуляции признаков и геометрическое разделение для решения проблемы несоответствий между модальностями. Как будто ещё не пробовали всё, что можно. Впрочем, идея интересная, хотя и неизбежно упрётся в сложности продакшена. Fei-Fei Li однажды заметила: «Технологии — это всего лишь инструменты. Важнее — то, как мы их используем». И ThermoSplat, скорее всего, станет очередным инструментом, который придётся постоянно допиливать, чтобы он хоть как-то работал в реальном мире, где данные всегда грязные и несогласованные.

Что дальше?

Представленная работа, безусловно, демонстрирует возможность объединения RGB и тепловизионных данных в рамках 3D Gaussian Splatting. Однако, за элегантностью предложенных модулей феатурной модуляции и геометрической развязки скрывается неизбежная правда: реальные данные всегда будут грязнее, чем в демонстрационных видео. Проблема регистрации и калибровки мультимодальных сенсоров остаётся болезненной, а любые отклонения в калибровке неминуемо превратятся в артефакты реконструкции. В перспективе, вероятно, потребуется не просто «склеивать» модальности, а строить модели неопределенности, которые честно признают, где данные ненадежны.

Более того, стоит помнить, что идеальный код — признак того, что его ещё никто не запустил в продакшене. Масштабирование ThermoSplat на сложные сцены и большие объемы данных потребует серьезной оптимизации и компромиссов. Вопрос в том, насколько эти компромиссы повлияют на качество реконструкции и насколько быстро «красивое» решение превратится в дорогостоящее и сложно поддерживаемое.

В конечном счете, за каждой «революционной» архитектурой скрывается технический долг. Поэтому, вместо того чтобы гнаться за следующей модной технологией, возможно, стоит сосредоточиться на создании надежных и проверенных инструментов, которые решают реальные проблемы, даже если они не блещут новизной.

Оригинал статьи: https://arxiv.org/pdf/2601.15897.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-01-26 05:36