Трехмерная сегментация объектов: новый подход к согласованию многовидовых данных

Автор: Денис Аветисян

Исследователи представили UniC-Lift — метод, позволяющий эффективно создавать согласованные трехмерные модели объектов на основе данных из нескольких источников.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

В отличие от существующих подходов, требующих многоступенчатой обработки - предварительной обработки 2D-масок с последующим их переносом в 3D или применения отдельных алгоритмов кластеризации к полученным эмбеддингам - представленное решение осуществляет сегментацию напрямую, используя единое унифицированное представление данных, что обеспечивает упрощение и повышение эффективности процесса. — В отличие от существующих подходов, требующих многоступенчатой обработки — предварительной обработки 2D-масок с последующим их переносом в 3D или применения отдельных алгоритмов кластеризации к полученным эмбеддингам — представленное решение осуществляет сегментацию напрямую, используя единое унифицированное представление данных, что обеспечивает упрощение и повышение эффективности процесса.

UniC-Lift использует контрастное обучение и 3D Gaussian Splatting для прямой трехмерной сегментации, минуя сложные этапы постобработки.

Несмотря на значительный прогресс в области 3D-реконструкции и синтеза новых видов, согласованность сегментации объектов в многовидовых изображениях остается сложной задачей. В данной работе, ‘UniC-Lift: Unified 3D Instance Segmentation via Contrastive Learning’, предлагается новый подход к единой 3D-сегментации экземпляров, объединяющий оптимизацию признаков и назначение меток посредством контрастного обучения и Gaussian Splatting. Предложенный метод позволяет эффективно сопоставлять несогласованные 2D-маски из разных видов в единое 3D-представление, исключая необходимость в дорогостоящих постобработочных этапах. Позволит ли унифицированный подход UniC-Lift открыть новые возможности для более точного и эффективного понимания 3D-сцен?

Постижение Трехмерного Пространства: Вызов для Робототехники и Виртуальной Реальности

Точное понимание трехмерной сцены является основополагающим для развития робототехники, технологий дополненной и виртуальной реальности, а также создания цифровых двойников, однако эта задача остается чрезвычайно сложной. Роботам необходимо интерпретировать окружающее пространство для безопасной навигации и манипулирования объектами, в то время как AR/VR приложения требуют точной реконструкции сцены для реалистичного взаимодействия. Создание цифровых двойников, точных виртуальных копий физических объектов или систем, зависит от способности достоверно захватывать и представлять их геометрию и текстуру. Несмотря на значительный прогресс в области компьютерного зрения, достижение надежного и универсального понимания 3D сцены остается серьезной научной проблемой из-за факторов, таких как вариации освещения, окклюзии и сложность интерпретации неполных данных.

Традиционные методы компьютерного зрения в трехмерном пространстве часто опираются на заранее определенные, вручную разработанные признаки для анализа изображений. Однако, такие подходы демонстрируют значительные трудности при изменении угла обзора и при наличии перекрывающихся объектов — явления, известные как окклюзия. Это связано с тем, что фиксированные признаки не способны адаптироваться к изменяющимся условиям, что приводит к снижению точности распознавания и сегментации объектов. В частности, незначительные изменения в перспективе или частичное скрытие объекта могут существенно повлиять на эффективность алгоритмов, основанных на ручном определении признаков, ограничивая их применимость в реальных, динамичных средах.

Существенная сложность в области трехмерного понимания изображений заключается в адекватном представлении и анализе сложных трехмерных структур. Традиционные подходы часто сталкиваются с трудностями при выделении и классификации объектов из-за неспособности эффективно кодировать пространственные взаимосвязи и геометрические детали. Это препятствует точной сегментации — разделению изображения на значимые области — и последующему анализу, необходимому для таких приложений, как робототехника и дополненная реальность. Недостаточное представление трехмерной информации ограничивает способность систем понимать сцену, а также распознавать и интерпретировать взаимосвязи между различными объектами, что снижает общую надежность и точность работы алгоритмов.

Наш конвейер оптимизирует 3D-представление на основе многовидовых RGB-изображений и неконсистентных сегментационных карт, используя функции потерь для рендеринга <span class="katex-eq" data-katex-display="false">\mathcal{L}_{rendering}</span>, кластеризации <span class="katex-eq" data-katex-display="false">\mathcal{L}_{cluster}</span>, триплетов <span class="katex-eq" data-katex-display="false">\mathcal{L}_{triplet}</span> и 3D-геометрии <span class="katex-eq" data-katex-display="false">\mathcal{L}_{3D}</span>, для последовательного поднятия 2D-сегментационных меток в 3D-пространство. — Наш конвейер оптимизирует 3D-представление на основе многовидовых RGB-изображений и неконсистентных сегментационных карт, используя функции потерь для рендеринга $\mathcal{L}_{rendering}$ , кластеризации $\mathcal{L}_{cluster}$ , триплетов $\mathcal{L}_{triplet}$ и 3D-геометрии $\mathcal{L}_{3D}$ , для последовательного поднятия 2D-сегментационных меток в 3D-пространство.

3D Gaussian Splatting: Эффективное Представление для Быстрой Сегментации

Технология 3D Gaussian Splatting (3DGS) представляет собой новый подход к представлению трехмерных сцен, основанный на использовании набора трехмерных гауссиан. Вместо традиционных представлений, таких как сетки или воксели, 3DGS моделирует сцену как совокупность эллиптических гауссиан, параметры которых (положение, ковариация, цвет, прозрачность) кодируют геометрию и визуальные характеристики. Такое представление позволяет достичь высокой эффективности рендеринга и анализа, поскольку гауссианы могут быть быстро сплетены (splatted) на экран с использованием шейдерных программ, а их параметры позволяют выполнять различные операции, такие как изменение масштаба, поворот и деформация, без необходимости пересчета всей геометрии. В отличие от дискретных представлений, гауссианы обеспечивают непрерывное представление сцены, что способствует более реалистичному и детализированному рендерингу.

Метод 3D Gaussian Splatting (3DGS) обеспечивает высококачественную визуализацию с использованием компактного представления данных, что делает его особенно привлекательным для приложений реального времени. В отличие от традиционных методов, требующих больших объемов памяти и вычислительных ресурсов для достижения сопоставимого качества, 3DGS использует небольшое количество 3D гауссиан для моделирования сцены. Это позволяет значительно снизить требования к памяти и ускорить процесс рендеринга, обеспечивая возможность интерактивной визуализации сложных 3D-сцен на стандартном оборудовании. Эффективность 3DGS обусловлена параметрическим представлением геометрии и использованием дифференцируемого рендеринга, что позволяет оптимизировать параметры гауссиан непосредственно для достижения желаемого качества изображения.

Эффективная сегментация 3D Gaussian Splatting (3DGS) — выделение отдельных объектов из набора 3D гауссиан — представляет собой сложную задачу, поскольку простые геометрические критерии, такие как близость или перекрытие, недостаточны для точной идентификации. Гауссианы могут пересекаться и перекрываться, особенно в сложных сценах, что затрудняет определение границ объектов. Для надежной сегментации требуются более сложные методы, учитывающие такие факторы, как семантическая информация, текстура и освещение, а также использование алгоритмов кластеризации и машинного обучения для анализа распределения гауссиан и выявления закономерностей, соответствующих отдельным объектам. Простые подходы, основанные только на геометрических свойствах, часто приводят к неточным результатам и фрагментации объектов.

Предложенный метод решает проблему несогласованности сегментации, возникающую при использовании 2D сегментации на мультивью RGB изображениях, формулируя задачу как кластеризацию в 3D пространстве и обучая векторные признаки с использованием контрастивных потерь для получения согласованных масок сегментации.

Обучение Векторных Представлений для Сегментации Экземпляров: Подход UniC-Lift

Метод UniC-Lift представляет собой одностадийный подход к 3D-сегментации экземпляров, основанный на технологии 3D Gaussian Splatting и использовании выученных векторных представлений (embeddings). В отличие от традиционных методов, требующих многоэтапной обработки, UniC-Lift напрямую декодирует эти векторные представления в метки сегментации, обеспечивая более эффективный и быстрый процесс. Использование 3D Gaussian Splatting позволяет эффективно представлять сцену, а векторные представления кодируют информацию об экземплярах, необходимую для их точной сегментации. Такая архитектура позволяет избежать сложных шагов постобработки, характерных для многих существующих решений в области 3D-сегментации.

Ключевым новшеством UniC-Lift является непосредственное декодирование векторных эмбеддингов в метки сегментации, что позволяет избежать сложных этапов постобработки, традиционно необходимых для получения финальной маски сегментации. Вместо применения алгоритмов кластеризации или других методов для группировки точек и определения границ объектов, UniC-Lift напрямую отображает эмбеддинги в соответствующие классы сегментации, что значительно упрощает процесс и снижает вычислительные затраты. Это достигается за счет обучения эмбеддингов таким образом, чтобы они содержали достаточно информации для однозначного определения принадлежности каждой точки к определенному экземпляру объекта, минуя необходимость в дополнительных шагах по уточнению и очистке результата.

Для повышения точности сегментации и улучшения качества векторных представлений, UniC-Lift использует комбинацию функций потерь и регуляризации. Контрастивная и триплетная потери применяются для обучения векторных представлений, обеспечивая, чтобы представления экземпляров одного класса были близки друг к другу в векторном пространстве, а представления разных классов — далеки. Дополнительно, применяется 3D-регуляризация соседства, которая учитывает пространственную близость точек в 3D-пространстве, способствуя формированию более согласованных и точных сегментационных масок. Такой подход позволяет модели эффективно различать объекты и их границы, что критически важно для точной 3D-сегментации экземпляров.

Метод UniC-Lift использует процесс “подъема” (lifting) 2D-масок сегментации в трехмерное пространство для передачи знаний из 2D-обучения в структуру 3D Gaussian Splatting. Этот подход позволяет использовать существующие 2D-аннотации сегментации, которые значительно проще и дешевле в получении, для обучения 3D-моделей. По сути, 2D-маски проецируются и трансформируются для создания псевдо-3D-аннотаций, которые затем используются для обучения сети сегментировать 3D-сцены. Это позволяет избежать необходимости ручной аннотации данных в 3D, что является трудоемким и дорогостоящим процессом, и эффективно использовать знания, полученные из 2D-данных, для улучшения качества 3D-сегментации.

Метод UniC-Lift демонстрирует передовые результаты в задаче 3D-сегментации экземпляров, достигая показателя Panoptic Quality (PQscene) в 94% после 25 тысяч итераций обучения. Данный результат был получен с использованием стратегии выборки boundary triplet sampling, направленной на улучшение дискриминации между экземплярами объектов. Высокое значение PQscene указывает на точную сегментацию как самих объектов, так и их границ, что свидетельствует о высокой эффективности предложенного подхода к обучению векторных эмбеддингов для 3D-сегментации.

В ходе тестирования на наборе данных Replica3D, разработанный метод UniC-Lift продемонстрировал прирост производительности приблизительно на 10 пунктов по сравнению с базовыми методами сегментации. Этот результат был достигнут при оценке метрики качества панорамной сегментации (PQscene), что подтверждает эффективность предложенного подхода к повышению точности 3D-сегментации в сложных сценах. Прирост производительности свидетельствует о преимуществах использования векторных вложений и прямого декодирования в метки сегментации, позволяя достичь более высокой точности по сравнению с традиционными методами, требующими дополнительных этапов постобработки.

В отличие от методов, таких как Contrastive-Lift, использующих контрастивные потери и посторонние алгоритмы кластеризации для определения центроидов и предсказания меток, мы предлагаем одностадийную оптимизацию, напрямую предсказывающую метки сегментации, что обеспечивает более высокую скорость работы.

За Пределами Сегментации: Влияние на Панорамное Понимание

Полученные векторные представления, изначально предназначенные для сегментации экземпляров, демонстрируют значительно более широкие возможности, формируя комплексное описание трехмерной сцены. Эти представления не ограничиваются простой идентификацией объектов; они кодируют информацию об их взаимном расположении, контексте и даже семантических связях. Благодаря этому, полученные векторы могут быть эффективно использованы в различных задачах компьютерного зрения, выходящих за рамки обычной сегментации, включая распознавание действий, построение карт окружающей среды и даже анализ поведения объектов. По сути, UniC-Lift создает не просто классификатор объектов, а универсальное представление трехмерного пространства, открывающее перспективы для создания более интеллектуальных и адаптивных систем.

Архитектура UniC-Lift позволяет осуществлять панорамную сегментацию — одновременное определение семантических классов и границ экземпляров объектов — благодаря использованию полученного векторного пространства представлений. Вместо последовательного выполнения задач семантической и экземплярной сегментации, UniC-Lift объединяет их в единый процесс, где объекты кодируются в компактные векторные представления, отражающие как их принадлежность к определенному классу, так и уникальные характеристики каждого экземпляра. Такой подход позволяет не только повысить точность и эффективность сегментации, но и обеспечивает более полное понимание структуры трехмерной сцены, что открывает возможности для решения более сложных задач компьютерного зрения и робототехники.

Система, разработанная на основе UniC-Lift, демонстрирует способность к открытой сегментации, что позволяет ей идентифицировать объекты, не встречавшиеся в процессе обучения. В отличие от традиционных подходов, требующих предварительного обучения на каждом возможном объекте, данная система использует полученные векторные представления для обобщения и распознавания новых, ранее неизвестных экземпляров. Это достигается за счет анализа пространственных взаимосвязей и визуальных характеристик, закодированных в векторных вложениях, позволяя системе успешно сегментировать и классифицировать объекты, даже если они не были представлены в обучающей выборке. Такая возможность открывает новые перспективы для применения в динамичных и непредсказуемых средах, где постоянное появление новых объектов является нормой.

Алгоритмы, такие как HDBSCAN, способны эффективно использовать полученные векторные представления для выявления скрытой структуры и группировок в трехмерных сценах. Этот метод кластеризации, основанный на плотности, позволяет автоматически определять объекты и их границы, не требуя предварительного задания количества кластеров. Анализируя плотность точек в векторном пространстве, HDBSCAN выделяет области с высокой концентрацией, которые соответствуют отдельным объектам или их частям, а также отделяет шум и выбросы. Таким образом, полученные в UniC-Lift эмбеддинги становятся основой для автоматического анализа и интерпретации сложных трехмерных данных, позволяя системе не только сегментировать сцену, но и понимать ее структуру и взаимосвязи между объектами.

Исследования показывают, что разработанный UniC-Lift подход демонстрирует значительное сокращение времени обучения по сравнению с традиционными двухэтапными методами сегментации и, в частности, с Contrastive-Lift в сочетании с HDBSCAN кластеризацией. Это достигается благодаря одновременному обучению векторных представлений и логическому выводу сегментации, что позволяет избежать необходимости в последовательных этапах обучения и оптимизации. Сокращение времени обучения не только повышает эффективность разработки, но и открывает возможности для более быстрой итерации и экспериментов с различными архитектурами и параметрами, что в конечном итоге способствует созданию более точных и надежных систем 3D-понимания.

Высококачественная 3D-сегментация позволяет точно извлекать и манипулировать объектами различной формы и размера, как демонстрируется на примере перемещения синей сумки, выделенной на изображении.

Исследование демонстрирует стремление к математической элегантности в области 3D-реконструкции. Авторы предлагают UniC-Lift, подход, который избавляет от необходимости в трудоемких постобработочных этапах, напрямую формируя согласованное 3D-представление на основе контрастного обучения и 3D Gaussian Splatting. Как однажды заметил Эндрю Ын: «Машинное обучение — это математика, и все остальное — инженерные компромиссы». В данном контексте, UniC-Lift — это попытка минимизировать эти инженерные компромиссы, используя математическую дисциплину для достижения более точной и эффективной сегментации экземпляров, особенно в задачах, требующих согласованности нескольких видов.

Куда Далее?

Представленный подход, хотя и элегантен в своей простоте объединения двумерных масок в непротиворечивое трёхмерное представление, не решает фундаментальную проблему: достоверность исходных двумерных сегментаций. Идеальная математическая чистота реконструкции бессильна против шума и неточностей в исходных данных. Будущие исследования неизбежно столкнутся с необходимостью оценки и смягчения влияния этих ошибок, возможно, через разработку более устойчивых функций потерь или методов оценки уверенности в сегментации.

Утверждение об устранении дорогостоящих этапов постобработки следует воспринимать с долей скепсиса. Любая система, оперирующая с реальными данными, требует некоторой формы верификации и коррекции. Вопрос лишь в том, переносятся ли эти затраты на другие этапы конвейера, и насколько они оправданы. Более глубокое изучение вычислительной сложности и компромиссов между точностью и скоростью представляется необходимым.

В конечном итоге, истинный прогресс в области трёхмерной сегментации, вероятно, будет достигнут не за счёт изобретения новых алгоритмов, а за счёт разработки более строгих математических моделей и методов проверки их корректности. До тех пор, пока мы не сможем доказать, что алгоритм действительно решает поставленную задачу, все остальные улучшения будут лишь косметическими.

Оригинал статьи: https://arxiv.org/pdf/2512.24763.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-01-04 10:01