Видение в трех измерениях: новая архитектура для отслеживания объектов в реальном времени

Автор: Денис Аветисян

Исследователи предлагают унифицированный подход к восприятию трехмерных объектов, позволяющий эффективно отслеживать их в сложных инфраструктурных средах с использованием нескольких камер.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

Модель трехмерного восприятия объектов обрабатывает многовидовые изображения и параметры камеры, используя кодировщики изображений и камер, деформирующее многовидовое агрегирование, объединение признаков с учетом перекрытий и распространение запросов во времени для получения согласованных трехмерных предсказаний.

В статье представлена адаптация архитектуры Sparse4D для систем внешнего отслеживания, обеспечивающая высокую точность и скорость работы благодаря оптимизации обработки перекрытий и аппаратной акселерации.

Несмотря на значительный прогресс в области автономного вождения, адаптация моделей, ориентированных на «внутреннюю» перспективу, к системам видеонаблюдения с фиксированными камерами представляет собой сложную задачу. В данной работе, посвященной разработке унифицированной системы 3D-восприятия, озаглавленной ‘A Unified 3D Object Perception Framework for Real-Time Outside-In Multi-Camera Systems’, предложен фреймворк, основанный на архитектуре Sparse4D, оптимизированный для масштабных инфраструктурных сред. Ключевым достижением является достижение передового результата в отслеживании объектов — HOTA $45.22$ — благодаря учету взаимной окклюзии и использованию генеративной аугментации данных, а также оптимизации производительности посредством TensorRT. Каковы перспективы дальнейшего повышения масштабируемости и устойчивости подобных систем в реальных условиях эксплуатации?

Задача многокамерного отслеживания: вызовы и ограничения

Отслеживание множества объектов одновременно с использованием нескольких камер (MTMC) представляет собой сложную задачу из-за ряда факторов, влияющих на точность и надежность системы. Перекрытия объектов, когда один объект частично или полностью скрыт другим, создают значительные трудности для алгоритмов, поскольку необходимо предсказывать траекторию скрытого объекта. Различные углы обзора, предоставляемые разными камерами, требуют от системы объединения информации из нескольких источников и корректной интерпретации положения объекта в трехмерном пространстве. Кроме того, динамичность сцены, включающая перемещение объектов и изменение фона, усложняет задачу поддержания непрерывного и точного отслеживания. Все эти факторы в совокупности требуют разработки сложных алгоритмов, способных эффективно справляться с неопределенностью и обеспечивать надежное отслеживание в реальном времени.

Традиционные методы отслеживания объектов, основанные на последовательном обнаружении и идентификации, сталкиваются с серьезными трудностями в переполненных сценах. В условиях плотного скопления людей или транспортных средств, когда объекты частично или полностью скрываются друг за другом, алгоритмы часто допускают ошибки в присвоении идентификаторов. Это приводит к так называемым «переключениям идентификаторов» (identity switches), когда алгоритм ошибочно принимает один объект за другой. Кроме того, в сложных динамических ситуациях, траектории движения объектов могут прерываться, формируя фрагментированные пути, что значительно снижает точность и надежность отслеживания. Решение этих проблем требует разработки более продвинутых алгоритмов, способных эффективно справляться с окклюзиями и сохранять непрерывность идентификации объектов на протяжении всего времени наблюдения.

Оценка эффективности систем многокамерного отслеживания (MTMC) требует применения надежных метрик, выходящих за рамки простого подсчета обнаружений. Традиционные показатели, такие как точность и полнота, часто оказываются недостаточными для адекватной оценки качества отслеживания объектов в сложных сценариях с перекрытиями и изменениями точек зрения. В связи с этим, метрика HOTA (Highly Overlapped Tracking Accuracy) была разработана для более комплексной оценки, учитывающей не только обнаружение объектов, но и точность поддержания их идентичности во времени. HOTA измеряет степень перекрытия между предсказанными и фактическими траекториями объектов, что позволяет более точно оценить способность системы к последовательному отслеживанию даже в условиях частичной потери видимости или временных перекрытий. Использование HOTA позволяет исследователям и разработчикам более эффективно сравнивать различные алгоритмы MTMC и продвигаться к созданию более надежных и точных систем.

Для прогресса в области многокамерного отслеживания множества объектов (MTMC) критически важны стандартизированные наборы данных и метрики оценки. В этом контексте, AI City Challenge 2025 Dataset выступает ключевым ориентиром для разработчиков алгоритмов, предоставляя сложный и реалистичный сценарий для тестирования и сравнения различных подходов. На данный момент, фреймворк Sparse4D продемонстрировал передовые результаты на этом наборе данных, достигнув показателя HOTA (Higher Order Tracking Accuracy) в 45.22. Этот результат подчеркивает важность эффективной обработки данных и способности алгоритма поддерживать идентичность отслеживаемых объектов даже в условиях частичной видимости и плотной толпы, что делает Sparse4D значимым шагом вперёд в решении сложных задач MTMC.

Три метода отслеживания MTMC различаются способом ассоциации объектов между видами: первый (<span class="katex-eq" data-katex-display="false">a</span>) использует только 2D-детекцию и ReID, второй (<span class="katex-eq" data-katex-display="false">b</span>) добавляет геометрические ограничения, а третий (<span class="katex-eq" data-katex-display="false">c</span>) агрегирует признаки на ранней стадии для мульти-визуальной ассоциации. — Три метода отслеживания MTMC различаются способом ассоциации объектов между видами: первый ( $a$ ) использует только 2D-детекцию и ReID, второй ( $b$ ) добавляет геометрические ограничения, а третий ( $c$ ) агрегирует признаки на ранней стадии для мульти-визуальной ассоциации.

Раннее и позднее объединение данных: компромиссы и подходы

Существуют две основные стратегии объединения информации, получаемой с нескольких камер: поздняя агрегация (late aggregation) и ранняя многовидовая агрегация (early multi-view aggregation). Поздняя агрегация предполагает независимое выполнение задач обнаружения и отслеживания объектов в каждой камере с последующей ассоциацией результатов между камерами. Ранняя агрегация, напротив, стремится создать единое трехмерное представление сцены до этапа обнаружения объектов, что позволяет получить более полное понимание обстановки. Выбор между этими подходами влияет на точность и надежность системы многокамерного зрения.

Поздняя агрегация (late aggregation) предполагает независимое выполнение задач обнаружения и отслеживания объектов в каждой камере. После этого выполняется сопоставление объектов между различными камерами для формирования единой траектории. Этот процесс сопоставления является потенциальным источником ошибок, поскольку объекты могут быть ошибочно идентифицированы или потеряны при переходе между видами камер. Ошибки возникают из-за различных факторов, таких как окклюзии, изменения освещения и различия в углах обзора, что может приводить к неверному сопоставлению объектов и, как следствие, к снижению точности отслеживания.

Ранняя многовидовая агрегация направлена на создание унифицированного трехмерного представления сцены до этапа обнаружения объектов. В отличие от последовательной обработки данных с каждой камеры, этот подход объединяет информацию из всех доступных источников на ранней стадии, что позволяет получить более полное и целостное понимание геометрии и содержания сцены. Это достигается путем совместной обработки изображений с разных камер для построения общей 3D-модели, которая затем используется для обнаружения и отслеживания объектов. Такой подход позволяет снизить неопределенность и повысить точность обнаружения за счет использования дополнительной геометрической информации и контекста, предоставляемого другими камерами.

Архитектура Sparse4D демонстрирует эффективность подхода раннего объединения данных с нескольких камер. В ходе тестирования на стандартных бенчмарках, данная архитектура показала улучшение метрики HOTA (Higher Order Tracking Accuracy) более чем на 13 пунктов по сравнению с существующими онлайн-методами отслеживания. Это свидетельствует о значительном повышении точности и надежности отслеживания объектов в многокамерных системах за счет создания единого трехмерного представления сцены до этапа обнаружения и отслеживания.

Результаты Sparse4D демонстрируют стабильную работу алгоритма 3D-обнаружения и отслеживания объектов в условиях ограниченного количества сенсоров.

Современные методы 3D-обнаружения для многокамерных систем

В настоящее время в ранние конвейеры агрегации многокамерных систем активно интегрируются различные методы 3D-обнаружения объектов. К числу наиболее распространенных решений относятся BEVDet, BEVFormer, DETR3D и PETR. Эти методы используют подход, основанный на представлении Bird’s-Eye View (BEV), для создания плотной 3D-карты сцены, что обеспечивает более точную локализацию и отслеживание объектов. Внедрение этих архитектур позволяет эффективно обрабатывать данные с нескольких камер для получения комплексного представления об окружении и повышает надежность систем автономного вождения и робототехники.

Методы 3D-обнаружения активно используют представление Bird’s-Eye View (BEV) для создания плотной 3D-карты окружения. Данный подход предполагает преобразование данных с нескольких камер в единое, перспективное сверху изображение, что позволяет более эффективно оценивать положение объектов в пространстве. Формирование плотной карты упрощает процесс локализации и отслеживания объектов, поскольку предоставляет полную информацию об их координатах и размерах в трехмерном пространстве, снижая зависимость от отдельных перспектив камер и повышая точность определения местоположения и идентификации объектов.

Для повышения устойчивости систем 3D-обнаружения в многокамерных системах применяются методы, интегрирующие информацию о камерах, такие как Camera-Aware Positional Encodings и World-Coordinate Geometric Priors. Camera-Aware Positional Encodings кодируют позицию и ориентацию каждой камеры, позволяя модели учитывать геометрические искажения и перспективу. World-Coordinate Geometric Priors используют априорные знания о мировых координатах и геометрии сцены, что помогает модели лучше понимать пространственные взаимосвязи между объектами и камерами. Эти методы позволяют более точно локализовать объекты в 3D-пространстве и уменьшить влияние шума и погрешностей измерений.

Архитектура Sparse4D использует геометрические априорные знания для повышения эффективности 3D-обнаружения объектов. В частности, оптимизированный плагин TensorRT, реализованный в данной архитектуре, позволяет достичь ускорения пропускной способности в 2.15 раза на современных GPU. Это достигается за счет эффективного использования информации о геометрии сцены и камер, что позволяет сократить вычислительные затраты и повысить скорость обработки данных.

В синтезированной больничной среде с 32 камерами, Sparse4D обеспечивает стабильную глобальную идентификацию объектов и их 3D-локализацию, используя единую контрольную точку.

Надёжное отслеживание идентификации с помощью ReID-встраиваний

В основе современных систем отслеживания объектов, работающих с данными, полученными с нескольких камер, лежат ReID-встраивания — компактные числовые представления, позволяющие идентифицировать один и тот же объект на разных изображениях. Эти встраивания служат своеобразным “цифровым отпечатком”, который алгоритм использует для сопоставления обнаружений, даже если объект частично скрыт или меняет положение в пространстве. Использование ReID-встраиваний позволяет системам поддерживать непрерывность отслеживания на протяжении длительного времени, связывая воедино разрозненные наблюдения и обеспечивая надежную идентификацию каждого объекта в поле зрения камер. Эффективность этих встраиваний напрямую влияет на точность и стабильность всей системы отслеживания, делая их ключевым компонентом в задачах, требующих долгосрочного мониторинга и анализа поведения объектов.

Стандартные ReID-встраивания, используемые для идентификации объектов на различных камерах, часто сталкиваются с трудностями при частичном перекрытии объектов или изменении угла обзора. Эти факторы приводят к искажению внешнего вида объекта, что затрудняет его точную идентификацию и может привести к ошибочной смене идентификатора — то есть, система может принять один объект за другой. Неспособность корректно обрабатывать такие ситуации существенно снижает надежность систем долгосрочного отслеживания, особенно в сложных и динамичных сценах, где объекты часто перекрываются или перемещаются между камерами с разными углами обзора. Эффективное решение этой проблемы является ключевым для повышения точности и стабильности алгоритмов многокамерного отслеживания.

Внедрение представлений, учитывающих перекрытия, позволяет существенно повысить надежность идентификации объектов на видео. Традиционные методы распознавания часто дают сбои при частичном закрытии объекта другим, что приводит к ошибкам в отслеживании. Новые разработки моделируют влияние перекрытий на визуальные характеристики, выделяя признаки, устойчивые к частичной видимости. Такой подход позволяет алгоритмам более точно сопоставлять объекты между камерами и сохранять их идентичность даже при сложных условиях съемки. По сути, система учится “видеть” объект сквозь препятствия, концентрируясь на тех частях, которые остаются видимыми, и прогнозируя его полную форму, что значительно повышает общую точность и надежность отслеживания.

Внедрение надежных методов реидентификации в многокамерные системы слежения позволило алгоритмам, таким как Sparse4D, добиться значительного снижения задержки обработки данных. В частности, для слоя ‘Decoder 0: MSDA’ на графических процессорах H100 с оптимизированным ядром, время обработки сократилось с 1.48 миллисекунд до всего 0.04 миллисекунд. Такое существенное ускорение стало возможным благодаря более эффективной ассоциации объектов между различными камерами, даже в сложных условиях, что повышает общую производительность и позволяет обрабатывать видеопотоки в реальном времени с минимальными задержками.

Модуль встраивания с учетом перекрытий (OAE) генерирует уровневые встраивания объектов путем агрегирования многоключевых, многомасштабных и многовидовых признаков изображений, спроецированных 3D-ключевых точек, с применением компенсации движения и взвешивания с учетом видимости для уменьшения влияния перекрытых или некачественных видов.

Синтез данных и будущие направления

Создание разнообразных и реалистичных обучающих данных является фундаментальным фактором повышения способности обобщения алгоритмов многокамерного отслеживания (MTMC). Эффективность MTMC напрямую зависит от того, насколько хорошо алгоритм способен адаптироваться к различным условиям съемки, освещению и текстурам объектов. Недостаток данных, охватывающих широкий спектр сценариев, приводит к переобучению и снижению производительности в реальных условиях. Поэтому, разработка методов генерации синтетических данных, имитирующих сложность и вариативность реального мира, становится критически важной задачей. Использование таких данных позволяет значительно расширить возможности обучения алгоритмов, повышая их устойчивость к шумам, изменениям освещения и различным типам объектов, что в конечном итоге ведет к более надежным и точным системам отслеживания.

Платформа COSMOS представляет собой мощный инструмент для генерации синтетических наборов данных, необходимых для обучения и тестирования алгоритмов многокамерного отслеживания (MTMC). Особенностью данной системы является возможность детальной настройки множества параметров, включая текстуры объектов, условия освещения и конфигурацию камер. Это позволяет создавать реалистичные виртуальные среды, имитирующие широкий спектр сценариев, с которыми сталкиваются системы MTMC в реальном мире. Благодаря COSMOS исследователи получают возможность контролировать все аспекты синтетических данных, что облегчает анализ влияния различных факторов на производительность алгоритмов и позволяет целенаправленно улучшать их устойчивость и точность. Гибкость платформы делает ее незаменимым ресурсом для разработки и валидации передовых решений в области робототехники, автономного вождения и систем видеонаблюдения.

Перспективные исследования в области многокамерного отслеживания направлены на создание более эффективных и устойчивых методов агрегации данных, поступающих с различных камер. Особое внимание уделяется разработке алгоритмов, способных объединять информацию из разных источников даже при наличии шумов или частичной потери данных. Параллельно активно изучается возможность применения самообучающихся моделей, что позволит снизить зависимость от больших объемов размеченных данных, получение которых часто является трудоемким и дорогостоящим процессом. Использование самообучения открывает путь к созданию более адаптивных и универсальных систем отслеживания, способных обучаться на неразмеченных видеопотоках и улучшать свою производительность с течением времени. Эти направления исследований обещают значительный прогресс в разработке надежных и интеллектуальных систем многокамерного отслеживания для широкого спектра приложений, включая робототехнику, автономное вождение и системы видеонаблюдения.

Дальнейшее развитие указанных направлений, включая генерацию данных, алгоритмы агрегации и методы самообучения, открывает перспективы для создания принципиально новых, более надёжных и интеллектуальных систем многокамерного слежения. Эти системы найдут применение в широком спектре областей — от повышения автономности робототехнических комплексов и обеспечения безопасности беспилотного транспорта, до совершенствования систем видеонаблюдения и анализа поведения. Улучшение точности и устойчивости алгоритмов позволит создавать более эффективные решения для автоматизации процессов, обеспечения безопасности и повышения качества жизни, а также решать сложные задачи в условиях динамичной и непредсказуемой среды.

Применяя различные стили к синтетическим многокамерным последовательностям в COSMOS, мы создаем разнообразные условия окружающей среды, сохраняя при этом точную 3D-геометрию.

В статье описывается элегантная архитектура для восприятия трёхмерных объектов, оптимизированная под реальное время и инфраструктурные задачи. Однако, история показывает, что даже самые продуманные системы сталкиваются с ограничениями при внедрении. Как заметил Ян Лекун: «Машинное обучение — это все о данных». И действительно, вся эта красота Sparse4D, оптимизация под TensorRT и методы обработки перекрытий бесполезны без качественного и репрезентативного набора данных для обучения и адаптации к реальным условиям. В конечном итоге, все эти сложные алгоритмы рано или поздно превратятся в технический долг, требующий постоянного обслуживания и переработки.

Куда же дальше?

Представленная работа, безусловно, демонстрирует определённый прогресс в области восприятия трёхмерного пространства. Однако, не стоит обольщаться. Любая «унифицированная» архитектура неизбежно столкнётся с жестокой реальностью: разнородностью инфраструктур, непредсказуемыми условиями освещения и, конечно же, с неизбежным появлением новых, более изощрённых способов «сломать» систему. Sparse4D — это лишь очередной уровень абстракции, а значит, и очередная точка отказа. Оптимизация под TensorRT даёт кратковременное облегчение, но, как известно, производительность всегда падает раньше, чем успеваешь её измерить.

Особое внимание следует уделить проблеме окклюзий. Разработчики, кажется, забывают, что в реальном мире объекты не стремятся к максимальной видимости. Искусственное «заполнение» пробелов — это, в лучшем случае, временное решение. Более перспективным направлением представляется разработка систем, способных не просто обнаруживать объекты, а предсказывать их поведение, учитывая контекст и вероятность появления. Иначе говоря, нужен не просто «зрение», а «интуиция».

В конечном итоге, все эти ухищрения с генеративным ИИ и оптимизацией — лишь попытки отсрочить неизбежное. Мы не создаём «интеллектуальные» системы, мы просто усложняем процесс отладки. Скоро станет ясно, что багтрекер — это не просто инструмент, а историческая хроника наших ошибок. И что, в конечном счёте, мы не деплоим — мы отпускаем.

Оригинал статьи: https://arxiv.org/pdf/2601.10819.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-01-21 02:41