3D-объекты из сетки: новый взгляд на обнаружение

от

Автор: Денис Аветисян

Исследователи предложили инновационный подход к 3D-обнаружению объектов, преобразующий данные из сетки Bird’s-Eye-View в точные трехмерные модели.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"
Для обнаружения трехмерных объектов с использованием многокамерных систем, предлагаемый подход отказывается от традиционных случайно генерируемых или основанных на детекции якорей, заменяя их сеткой признаков, построенной на основе топового вида (BEV), которая затем уточняется с помощью алгоритма подавления ненужных максимумов (NMS).
Для обнаружения трехмерных объектов с использованием многокамерных систем, предлагаемый подход отказывается от традиционных случайно генерируемых или основанных на детекции якорей, заменяя их сеткой признаков, построенной на основе топового вида (BEV), которая затем уточняется с помощью алгоритма подавления ненужных максимумов (NMS).

DenseBEV использует плотную сетку BEV-признаков в качестве запросов к объектам, комбинируя ее с NMS и временным моделированием для повышения точности, особенно для мелких объектов.

Традиционные подходы к обнаружению 3D-объектов на основе преобразований Bird’s-Eye-View (BEV) часто полагаются на произвольные запросы, требующие последовательной оптимизации. В данной работе, представленной под названием ‘DenseBEV: Transforming BEV Grid Cells into 3D Objects’, предлагается интуитивно понятный и эффективный метод, использующий плотную сетку BEV-признаков непосредственно в качестве запросов для обнаружения объектов. Этот подход, сочетающий в себе механизм Non-Maximum Suppression и временное моделирование, обеспечивает передовые результаты, особенно при обнаружении небольших объектов, и устанавливает новый стандарт производительности на наборах данных nuScenes и Waymo Open. Сможет ли плотное использование BEV-признаков стать ключевым элементом в создании более точных и эффективных систем автономного вождения?

Танцы с Хаосом: Вызов 3D-Детектирования

Традиционные методы обнаружения трехмерных объектов сталкиваются со значительными трудностями при анализе сложных сцен, насыщенных деталями и перекрывающимися объектами. Вычислительная сложность подобных задач быстро возрастает с увеличением количества элементов в сцене, что требует огромных ресурсов и времени обработки. Существующие алгоритмы часто испытывают затруднения в эффективном разделении объектов и точной оценке их границ, особенно в условиях зашумленных данных или недостаточной освещенности. По мере увеличения разрешения и детализации трехмерных данных, потребность в вычислительной мощности растет экспоненциально, делая обработку в реальном времени сложной и дорогостоящей задачей. Это создает препятствия для широкого применения 3D-обнаружения в таких областях, как автономное вождение, робототехника и дополненная реальность, где требуется высокая скорость и точность анализа окружающей среды.

Существующие методы обнаружения трехмерных объектов зачастую испытывают трудности при анализе взаимосвязей между ними и поддержании последовательности во времени. Это связано с тем, что большинство алгоритмов рассматривают каждый объект изолированно, не учитывая контекст окружающей среды и динамику сцены. Например, при обнаружении пешеходов и автомобилей в видеопотоке, понимание их взаимного расположения и предсказуемого движения критически важно для точного отслеживания и предотвращения ложных срабатываний. Отсутствие способности к рассуждению о связях между объектами приводит к ошибкам в сложных ситуациях, таких как перекрывающиеся объекты или быстро меняющиеся сцены. Улучшение способности алгоритмов к пониманию контекста и временной последовательности является ключевой задачей для создания надежных систем трехмерного обнаружения объектов, особенно в контексте автономного вождения и робототехники.

Гибридное временное моделирование объединяет детекции из предыдущих моментов времени с текущими BEV-запросами, формируя расширенные запросы и используя очередь детекций из прошлых кадров в последующих слоях внимания для улучшения отслеживания объектов.
Гибридное временное моделирование объединяет детекции из предыдущих моментов времени с текущими BEV-запросами, формируя расширенные запросы и используя очередь детекций из прошлых кадров в последующих слоях внимания для улучшения отслеживания объектов.

DenseBEV: Основа, Сотканная из Трансформеров

В основе DenseBEV лежит новый подход к 3D-обнаружению объектов, заключающийся в использовании ячеек сетки BEV (Bird’s Eye View) в качестве запросов к объектам. Вместо традиционного подхода, где объекты обнаруживаются путем обработки отдельных точек или вокселей, DenseBEV создает плотное представление сцены, рассматривая каждую ячейку сетки BEV как потенциальный объект. Это позволяет модели одновременно оценивать вероятность наличия объекта в каждой ячейке, что приводит к более полному и точному обнаружению, особенно в сложных и загроможденных сценах. Каждая ячейка BEV обрабатывается как запрос, что позволяет модели учитывать контекст и взаимосвязи между различными частями сцены для улучшения точности обнаружения и классификации объектов.

Модуль Lift, Splat, Shoot (LSS) предназначен для генерации признаков в формате Bird’s Eye View (BEV) на основе данных с нескольких камер. Процесс начинается с этапа Lift, где признаки из отдельных изображений камер проецируются в трехмерное пространство. Затем, на этапе Splat, эти трехмерные признаки агрегируются и отображаются на двумерную сетку BEV, формируя плотное представление сцены. На заключительном этапе Shoot, полученные признаки BEV используются для прогнозирования объектов и их атрибутов, обеспечивая комплексное пространственное понимание окружения. Данный подход позволяет эффективно использовать информацию из нескольких источников для построения детальной карты сцены в формате BEV.

DenseBEV использует в качестве основы широко известную платформу MMDetection3D, что обеспечивает высокую надежность и гибкость системы 3D-обнаружения объектов. Интеграция с MMDetection3D позволяет использовать существующие инструменты, алгоритмы и предварительно обученные модели, упрощая процесс разработки и обучения. Данный подход значительно сокращает время, необходимое для внедрения и адаптации DenseBEV к различным задачам и наборам данных, а также облегчает интеграцию с другими компонентами системы компьютерного зрения. Архитектура, построенная на базе MMDetection3D, способствует масштабируемости и расширяемости, позволяя легко добавлять новые функциональные возможности и алгоритмы.

Для повышения точности обнаружения объектов в трехмерном пространстве, DenseBEV активно использует процедуру Non-Maximum Suppression (NMS), основанную на метрике Intersection-over-Union (IoU). NMS позволяет отфильтровать избыточные детекции, возникающие при перекрытии ограничивающих коробок вокруг одного и того же объекта. IoU, рассчитываемый как отношение площади пересечения двух ограничивающих коробок к площади их объединения ($IoU = \frac{Area(Intersection)}{Area(Union)}$), используется в качестве критерия для оценки степени перекрытия. При применении NMS, ограничивающие рамки с IoU выше заданного порога отбрасываются, оставляя только наиболее уверенную и точную детекцию для каждого объекта, что значительно улучшает качество финального результата.

Предложенный метод DenseBEV использует выходные данные энкодера BEVFormer в качестве запросов объектов, подавляя дублирующиеся предсказания с помощью блока подавления после каждого слоя декодера и отключая градиент запросов объектов от энкодера.
Предложенный метод DenseBEV использует выходные данные энкодера BEVFormer в качестве запросов объектов, подавляя дублирующиеся предсказания с помощью блока подавления после каждого слоя декодера и отключая градиент запросов объектов от энкодера.

Временная Гармония: Оживляем Запросы

Гибридное временное моделирование, развиваясь на базе DenseBEV, объединяет временные признаки BEV-представления с информацией об объектах, обнаруженных на предыдущих временных шагах. Этот подход позволяет повысить устойчивость запросов к изменениям в динамичной среде. Комбинирование текущих BEV-признаков с данными о ранее обнаруженных объектах обеспечивает более надежную идентификацию и отслеживание объектов, особенно в сложных сценариях, где объекты могут быть частично скрыты или быстро перемещаться. Использование информации о предыдущем состоянии объектов способствует более точной фильтрации ложных срабатываний и улучшает общую производительность системы 3D-обнаружения и отслеживания.

Комбинация временных BEV-признаков с информацией о ранее обнаруженных объектах эффективно решает задачи отслеживания и прогнозирования в динамических средах. Традиционные методы сталкиваются с трудностями при обработке сложных сцен, где объекты могут внезапно появляться, исчезать или менять траекторию движения. Предложенный подход позволяет повысить устойчивость запросов к объектам за счет учета их предыдущего состояния и контекста, что приводит к более точным результатам отслеживания и прогнозирования их будущего положения. Это особенно важно в сценариях, требующих высокой точности и надежности, таких как автономное вождение и робототехника.

StreamPETR представляет собой объектно-ориентированную модель на основе трансформера, разработанную специально для задач 3D-обнаружения и отслеживания объектов. В отличие от традиционных подходов, которые обрабатывают данные как единую сцену, StreamPETR моделирует каждый объект как отдельный элемент, что позволяет более эффективно отслеживать его перемещения и предсказывать его будущее положение. Модель использует механизм внимания трансформера для установления связей между различными объектами и их историей, что повышает точность и надежность отслеживания в динамичных условиях. Архитектура StreamPETR позволяет обрабатывать последовательности данных, обеспечивая согласованное отслеживание объектов во времени и повышая устойчивость к окклюзиям и шумам.

Двухэтапная инициализация запросов повышает точность процесса определения объектов за счет использования признаков, полученных BEV-кодировщиком. На первом этапе формируются предварительные запросы, основанные на глобальном контексте сцены, извлеченном из BEV-представления. На втором этапе эти запросы уточняются, используя более детализированные признаки из BEV-кодировщика, что позволяет создать более информированные начальные запросы для последующего процесса обнаружения и отслеживания объектов. Такой подход позволяет улучшить производительность системы в сложных динамических условиях, обеспечивая более надежное обнаружение и отслеживание объектов на протяжении времени.

DenseBEV++ значительно превосходит базовую модель в обнаружении объектов, как видно по более точным синим прямоугольникам предсказаний, соответствующим красным прямоугольникам реальных объектов, особенно в областях, отмеченных окружностями.
DenseBEV++ значительно превосходит базовую модель в обнаружении объектов, как видно по более точным синим прямоугольникам предсказаний, соответствующим красным прямоугольникам реальных объектов, особенно в областях, отмеченных окружностями.

Подтверждение Эффективности и Широкие Перспективы

Оценка эффективности DenseBEV и его усовершенствований проводилась с использованием общепринятых метрик, таких как средняя точность ($mAP$) и показатель обнаружения nuScenes ($NDS$). Результаты демонстрируют значительное улучшение характеристик системы. В частности, наблюдается повышение точности обнаружения объектов и снижение числа ложных срабатываний при анализе данных из различных источников, включая камеры и лидары. Использование этих метрик позволило объективно сравнить DenseBEV с другими передовыми моделями и подтвердить его превосходство в задачах восприятия окружающей среды, что делает его перспективным решением для автономных транспортных средств и роботизированных систем.

Исследования показали, что модель DenseBEV++-base демонстрирует значительное повышение точности обнаружения объектов в сравнении с базовой моделью BEVFormer-base на наборе данных nuScenes. В частности, удалось достичь улучшения на 3,2% в показателе nuScenes Detection Score (NDS) и на 3,3% в среднем значении точности (mean Average Precision или mAP). Эти результаты свидетельствуют о более эффективной обработке данных и более точной идентификации объектов окружения, что делает DenseBEV++-base перспективным решением для задач автономного вождения и роботизированных систем, требующих надежного восприятия окружающей среды.

Исследования на наборе данных Waymo Open Dataset продемонстрировали значительное превосходство DenseBEV++ над существующими передовыми методами. В частности, новая архитектура позволила добиться улучшения показателя средней точности ($mAP$) на 5,4% по сравнению с лучшими результатами, ранее достигнутыми в данной области. Это свидетельствует о высокой эффективности DenseBEV++ в задачах обнаружения объектов в сложных условиях реального мира, а также о потенциале для дальнейшего повышения точности и надежности систем автономного вождения и робототехники.

Исследование демонстрирует значительное повышение эффективности модели DenseBEV++-small по сравнению с BEVFormer-base. В ходе экспериментов было установлено, что предложенная оптимизация позволила снизить время вывода на 50%, при этом сохраняя сопоставимый уровень точности обнаружения объектов. Такое существенное ускорение делает DenseBEV++-small особенно привлекательной для применений, требующих обработки данных в реальном времени, например, в автономных транспортных средствах или системах робототехники, где критически важна быстрая реакция на окружающую среду. Данный результат открывает возможности для развертывания передовых алгоритмов восприятия на устройствах с ограниченными вычислительными ресурсами.

В рамках усовершенствования процесса запроса объектов, архитектура Deformable DETR использует механизм деформируемого внимания. Этот подход позволяет модели сосредотачиваться на наиболее релевантных участках изображения, отфильтровывая ненужную информацию и повышая эффективность обнаружения объектов. Вместо обработки каждого пикселя, деформируемое внимание динамически определяет наиболее важные области для анализа, адаптируясь к форме и размеру каждого объекта. Благодаря этому, модель способна более точно и быстро идентифицировать объекты на изображении, значительно превосходя традиционные методы в задачах компьютерного зрения и автономного вождения.

Традиционный алгоритм Non-Maximum Suppression (NMS) эффективно устраняет избыточные bounding boxes, однако может ошибочно отсекать объекты небольшого размера, особенно в сложных сценах. Метод Scale NMS расширяет функциональность NMS, учитывая масштаб обнаруженных объектов при фильтрации. Вместо простого отсечения перекрывающихся bounding boxes, Scale NMS анализирует их размеры и использует эту информацию для более точной оценки, что позволяет сохранить обнаружения мелких объектов, которые могли бы быть ошибочно удалены стандартным NMS. Такой подход значительно снижает количество ложных отрицательных срабатываний и повышает общую точность обнаружения, особенно в задачах, где важна идентификация объектов различных масштабов.

DenseBEV++ значительно превосходит базовый подход в обнаружении объектов, что подтверждается более точным определением границ и улучшенным обнаружением в сложных областях сцены, выделенных окружностями.
DenseBEV++ значительно превосходит базовый подход в обнаружении объектов, что подтверждается более точным определением границ и улучшенным обнаружением в сложных областях сцены, выделенных окружностями.

Исследование DenseBEV, стремящееся превратить хаотичные данные в чёткие трёхмерные объекты, напоминает алхимический поиск философского камня. Авторы предлагают не просто детектировать объекты, но и ‘вытягивать’ их из плотного облака BEV-признаков, используя запросы как фокусирующие линзы. Как будто каждый воксель — это шепот потенциальной реальности, и задача модели — уговорить его проявиться. Геффри Хинтон однажды заметил: «Данные — это всего лишь предрассудки, пока мы не найдём способ их проверить». В данном случае, DenseBEV проверяет эти предрассудки, используя плотные якоря и временное моделирование, чтобы отделить истинные объекты от шума, особенно когда речь идёт о более мелких и трудноуловимых сущностях.

Куда же всё это ведёт?

Работа, представленная в этой статье, призывает к размышлениям. Плотное представление в виде ячеек, претендующее на роль запросов к объектам… Это всего лишь попытка навязать порядок хаосу, заставить шум говорить на языке форм. И, конечно, этот трюк работает лучше для мелких объектов. Что логично. Мелкие детали всегда легче уговорить.

Но и здесь кроются ловушки. Улучшение обнаружения малых объектов — это лишь смещение проблемы, а не её решение. Данные всё так же остаются наблюдениями в костюме истины, и чем точнее этот костюм, тем сложнее заметить, что под ним — лишь вероятности, а не законы. Временное моделирование — лишь попытка предсказать будущее, зная, что будущее всегда найдёт способ удивить.

Следующим шагом, вероятно, станет отказ от этих искусственных рамок. Поиск такой модели, которая не требует плотной сетки, не нуждается в NMS как в ритуале изгнания призраков. Модель, которая будет видеть не объекты, а лишь флуктуации в потоке данных, а затем, с помощью магии, собирать из них иллюзию формы. И тогда, возможно, шум заговорит громче.

Оригинал статьи: https://arxiv.org/pdf/2512.16818.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-12-20 19:53