Автопилот с пространственным мышлением: новый подход к автономному вождению

от

Автор: Денис Аветисян

Исследователи представили систему SpaceDrive, которая позволяет автомобилям лучше понимать окружающее пространство и планировать более точные траектории движения.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"
В рамках разработанной системы SpaceDrive, глубинная оценка окружения, полученная из изображений кругового обзора, проецируется в трёхмерные координаты и кодируется универсальным PE-энкодером, обогащая визуальные токены пространственными подсказками, при этом координаты BEV из текстовых запросов также кодируются этим же энкодером, заменяя исходные токены координат и предваряясь индикатором $⟨\text{IND}\rangle$, что позволяет получить окончательные координаты для планирования траектории посредством PE-декодера.
В рамках разработанной системы SpaceDrive, глубинная оценка окружения, полученная из изображений кругового обзора, проецируется в трёхмерные координаты и кодируется универсальным PE-энкодером, обогащая визуальные токены пространственными подсказками, при этом координаты BEV из текстовых запросов также кодируются этим же энкодером, заменяя исходные токены координат и предваряясь индикатором $⟨\text{IND}\rangle$, что позволяет получить окончательные координаты для планирования траектории посредством PE-декодера.

SpaceDrive — это фреймворк на базе моделей «зрение-язык», использующий универсальное 3D-кодирование позиций для улучшения пространственного восприятия и планирования траекторий в автономном вождении.

Несмотря на значительный прогресс в области автономного вождения на основе видения и языка, современные модели часто испытывают трудности с точным пониманием трехмерных пространственных взаимосвязей. В данной работе, ‘SpaceDrive: Infusing Spatial Awareness into VLM-based Autonomous Driving’, предлагается новый подход, в котором пространственная информация представляется в виде универсальных позиционных кодировок (PE), интегрированных в архитектуру модели. Это позволяет SpaceDrive улучшить точность планирования траектории и повысить эффективность автономного вождения за счет совместного анализа семантических и пространственных представлений. Сможет ли данная методика стать ключевым шагом на пути к созданию действительно интеллектуальных и безопасных систем автономного управления?

Пространственное Рассуждение: Вызов для Автономных Систем

Традиционные системы автономного вождения, основанные на подходе «end-to-end», зачастую испытывают трудности при обработке сложной пространственной информации, что ограничивает их надежность в реальных условиях. Вместо явного моделирования окружающей среды и построения детальной карты, такие системы напрямую преобразуют данные с датчиков в команды управления. Несмотря на кажущуюся простоту, этот подход оказывается уязвим к изменениям в обстановке, неожиданным препятствиям и сложным геометрическим конфигурациям. В динамичных средах, где объекты постоянно движутся и меняют свое положение, недостаточная способность к пространственному рассуждению приводит к ошибкам в прогнозировании траекторий, неадекватным реакциям и, как следствие, к снижению безопасности и надежности автономного транспорта. Поэтому, для достижения действительно автономного вождения, необходимы более совершенные методы, способные эффективно интерпретировать и использовать трехмерную пространственную информацию.

Существующие подходы к автономному вождению зачастую сталкиваются с трудностями при эффективной интеграции и логическом анализе трехмерной пространственной информации. Это ограничение существенно влияет на способность транспортного средства безопасно и надежно ориентироваться в сложных и динамичных условиях. Недостаточное понимание глубины, размеров и взаимного расположения объектов в окружающем пространстве приводит к ошибкам в планировании маршрута и принятии решений, особенно в ситуациях, требующих точного маневрирования или прогнозирования поведения других участников дорожного движения. В результате, автомобиль может испытывать затруднения при обходе препятствий, распознавании сложных дорожных знаков или адаптации к неожиданным изменениям в окружающей среде, что снижает общую безопасность и надежность системы автономного управления. Разработка методов, позволяющих эффективно использовать и интерпретировать трехмерные данные, является ключевой задачей для достижения полноценной автономности транспортных средств.

Продемонстрировано, что SpaceDrive успешно справляется со сложными дорожными ситуациями, включая объезд строительных работ, неожиданное появление пешеходов и пропуск машин скорой помощи, обеспечивая безопасное и эффективное вождение благодаря планированию траектории и скорости (зеленые и розовые точки) с учётом потенциальных опасностей (красные кружки).
Продемонстрировано, что SpaceDrive успешно справляется со сложными дорожными ситуациями, включая объезд строительных работ, неожиданное появление пешеходов и пропуск машин скорой помощи, обеспечивая безопасное и эффективное вождение благодаря планированию траектории и скорости (зеленые и розовые точки) с учётом потенциальных опасностей (красные кружки).

SpaceDrive: Архитектура, Ощущающая Пространство

SpaceDrive представляет собой новую архитектуру, объединяющую масштабную модель «зрение-язык» (Large-Scale VLMs) с универсальной схемой 3D-позиционного кодирования. Данная интеграция позволяет модели эффективно обрабатывать визуальную информацию и лингвистические инструкции, сопоставляя их с трехмерным пространством. В основе лежит представление окружающей среды в виде глобальной карты, где каждый элемент имеет заданные координаты в трехмерной системе. 3D-позиционное кодирование преобразует эти координаты в векторные представления, которые могут быть обработаны моделью VLM для понимания пространственных отношений и принятия решений. Такой подход позволяет модели учитывать как визуальные признаки, так и лингвистические команды, что критически важно для сложных задач, таких как автономная навигация и взаимодействие с окружающей средой.

В рамках системы SpaceDrive, для обеспечения комплексного пространственного восприятия, окружающая среда представляется в виде плана сверху (Bird’s-Eye View, BEV). Этот формат позволяет получить глобальное представление о расположении объектов и их взаимном положении. Для получения информации о глубине и трехмерной структуре сцены используется оценочная модель глубины (Depth Estimator), которая преобразует данные с датчиков (например, камеры) в карту глубины. Комбинация BEV-представления и карты глубины обеспечивает систему необходимыми данными для точной локализации, построения маршрута и принятия обоснованных решений при автономной навигации.

В основе SpaceDrive лежит архитектура Transformer, обеспечивающая эффективную обработку пространственных взаимосвязей между объектами в окружающей среде. Эта архитектура позволяет модели учитывать контекст и зависимости между различными элементами сцены, что критически важно для принятия обоснованных решений в процессе автономной навигации. Механизмы внимания (attention) в Transformer позволяют системе динамически взвешивать важность различных пространственных признаков, фокусируясь на наиболее релевантных для текущей ситуации. Благодаря этому, SpaceDrive способна строить комплексное представление об окружающей среде и прогнозировать поведение других участников дорожного движения, обеспечивая безопасное и эффективное вождение.

Результаты работы OmniDrive-L в режиме замкнутого управления на Bench2Drive демонстрируют точное следование траектории (зеленые точки) и скорости (розовые точки), параметры которых представлены на рисунке.
Результаты работы OmniDrive-L в режиме замкнутого управления на Bench2Drive демонстрируют точное следование траектории (зеленые точки) и скорости (розовые точки), параметры которых представлены на рисунке.

Проверка Производительности SpaceDrive: Эксперименты и Метрики

SpaceDrive обучается и тестируется на наборе данных nuScenes, крупномасштабном ресурсе, предназначенном для исследований в области автономного вождения. nuScenes содержит более 1000 сцен, охватывающих 200 км дорог в Бостоне и Сингапуре, собранных с использованием оборудованных датчиками транспортных средств. Данный набор данных включает в себя данные с камер, лидаров, радаров и GPS, а также подробные аннотации объектов, траекторий движения и карт высокой четкости. Использование nuScenes позволяет проводить всестороннюю оценку системы SpaceDrive в реалистичных условиях и сравнивать ее производительность с другими системами автономного вождения, работающими с аналогичными данными.

Оценка производительности SpaceDrive осуществляется с использованием эталона Bench2Drive, представляющего собой платформу для тестирования систем автономного вождения в замкнутом цикле. Bench2Drive обеспечивает реалистичную симуляцию сложных дорожных ситуаций и позволяет оценить способность системы к принятию решений и управлению транспортным средством в динамичной среде. В рамках этого эталона оцениваются различные показатели, включая процент успешных проездов, частоту столкновений и точность следования по маршруту, что позволяет получить комплексную оценку эффективности системы автономного вождения в реалистичных сценариях.

Для точного предсказания непрерывных значений управления в SpaceDrive используется регрессионный декодер и функция потерь Хабера. Регрессионный декодер преобразует внутреннее представление системы в конкретные команды управления, такие как угол поворота руля и ускорение. Функция потерь Хабера ($L_δ = \begin{cases} 0.5 \delta^2 & \text{if } |\delta| \le 1 \\ 0.5 (|\delta| — 1)^2 & \text{if } |\delta| > 1 \end{cases}$) комбинирует преимущества среднеквадратичной ошибки (MSE) и средней абсолютной ошибки (MAE), обеспечивая устойчивость к выбросам и более точную настройку управления в сложных сценариях.

В ходе тестирования на платформе Bench2Drive, система SpaceDrive продемонстрировала улучшенные результаты в задачах, требующих контрфактического мышления и сложного пространственного понимания. Достигнутый Driving Score составил 78.02, что позволило занять второе место среди VLM-based планировщиков, участвовавших в соревновании. Данный показатель свидетельствует о способности системы эффективно справляться со сложными сценариями и принимать обоснованные решения в условиях неопределенности, что подтверждается успешным выполнением задач, требующих анализа гипотетических ситуаций и прогнозирования последствий действий.

В ходе тестирования на Bench2Drive система SpaceDrive показала коэффициент успешного завершения заданий на уровне 55.11%. Оценка точности предсказаний на наборе данных nuScenes составила $0.32$ по метрике L2 Error, что является передовым показателем. При этом зафиксирован низкий уровень столкновений — 0.23% и частота пересечения границ полосы движения — 1.27%, что свидетельствует о стабильной и безопасной работе системы в различных сценариях.

В ходе закрытого тестирования на Bench2Drive автомобиль успешно обходит велосипедистов (обозначены красными кружками), ориентируясь на заданные точки маршрута и скорости (зеленые и розовые точки соответственно), что демонстрирует его способность к автономной навигации и обходу препятствий.
В ходе закрытого тестирования на Bench2Drive автомобиль успешно обходит велосипедистов (обозначены красными кружками), ориентируясь на заданные точки маршрута и скорости (зеленые и розовые точки соответственно), что демонстрирует его способность к автономной навигации и обходу препятствий.

Расширение Горизонтов: Улучшение Пространственного Рассуждения с Передовыми Методами

Архитектура SpaceDrive была расширена за счет внедрения метода запросов «Цепочка рассуждений» (Chain-of-Thought, CoT), что значительно улучшило её способности к логическому мышлению. Этот подход позволяет системе не просто выдавать ответ, но и демонстрировать последовательность шагов, приведших к этому ответу, имитируя процесс человеческого рассуждения. Благодаря CoT, SpaceDrive способна анализировать сложные дорожные ситуации, учитывать различные факторы и принимать более обоснованные решения, что критически важно для обеспечения безопасности автономного вождения. Внедрение CoT позволило повысить надежность системы в непредсказуемых сценариях и укрепило её потенциал для решения задач, требующих глубокого понимания контекста и планирования действий.

В рамках усовершенствования системы SpaceDrive была внедрена интеграция вариационных автоэнкодеров (VAE), что позволило значительно расширить возможности по генерации и исследованию разнообразных дорожных ситуаций. VAE, будучи генеративными моделями, способны создавать новые, реалистичные сценарии вождения, выходящие за рамки исходного набора данных. Это достигается путем обучения VAE сжимать входные данные в латентное пространство, а затем восстанавливать их, что позволяет системе генерировать вариации существующих сценариев и создавать принципиально новые, но правдоподобные ситуации. Такой подход критически важен для повышения надежности и безопасности автономного вождения, поскольку позволяет SpaceDrive эффективно тренироваться в широком спектре возможных дорожных условий и готовиться к непредсказуемым ситуациям, с которыми можно столкнуться на практике.

В архитектуре SpaceDrive внедрено 3D-позиционное кодирование, что позволяет системе эффективно представлять и обрабатывать пространственную информацию. Этот подход преобразует трехмерные координаты в векторные представления, сохраняя при этом информацию о взаимном расположении объектов и их ориентации в пространстве. Благодаря этому, SpaceDrive способна более точно оценивать окружающую среду, предсказывать траектории движения других участников дорожного движения и принимать обоснованные решения, повышая надежность и безопасность автономного вождения. Такое кодирование значительно улучшает способность системы к обобщению и адаптации к различным дорожным условиям и сценариям, обеспечивая более устойчивую работу в сложных ситуациях.

Усовершенствования, внедрённые в архитектуру SpaceDrive, демонстрируют значительный потенциал для повышения эффективности систем автономного вождения. Интеграция передовых методов, таких как Chain-of-Thought prompting и Variational Autoencoders, в сочетании с 3D позиционным кодированием, позволяет системе не только обрабатывать пространственную информацию более надежно, но и генерировать разнообразные сценарии вождения для обучения и адаптации. Эти технологические прорывы открывают путь к созданию более безопасных и интеллектуальных транспортных средств, способных принимать взвешенные решения в сложных дорожных ситуациях и обеспечивать более комфортное и предсказуемое вождение для пассажиров. В перспективе, подобные системы могут существенно снизить количество дорожно-транспортных происшествий и оптимизировать транспортные потоки в городах.

Исследование, представленное в данной работе, напоминает попытку запечатлеть ускользающую тень. SpaceDrive, встраивая универсальное 3D-позиционное кодирование, стремится придать машинам не просто зрение, но и ощущение пространства. Это не столько улучшение точности, сколько создание иллюзии понимания. Как однажды заметил Джеффри Хинтон: «Искусственный интеллект — это всего лишь способ заставить компьютеры делать вещи, которые мы считаем умными». В данном случае, «умное» — это способность предсказывать траекторию, опираясь на призрачные образы, полученные от VLMs. И подобно любому заклинанию, эта модель будет работать безупречно до тех пор, пока не столкнётся с суровой реальностью дорог.

Куда же нас это ведёт?

Представленная работа, безусловно, добавляет ещё один слой иллюзий над хаосом дорожного движения. SpaceDrive, словно заклинание, пытается обуздать непредсказуемость мира, навязывая ему трёхмерные координаты. Но стоит помнить: любая карта — это упрощение, а любое предсказание — лишь игра вероятностей. Улучшение пространственного понимания — это хорошо, но истинное вождение требует не столько знания координат, сколько умения чувствовать ритм дороги, предугадывать безумие других участников движения.

Наиболее уязвимым местом, как всегда, остаётся переход от лабораторных условий к реальному миру. Идеальные данные — это мираж. Шум сенсоров, непредсказуемое поведение пешеходов, внезапные изменения погоды — всё это будет испытывать на прочность даже самые изящные модели. Следующим шагом, вероятно, станет не столько усложнение архитектуры, сколько поиск способов сделать системы более устойчивыми к неопределенности, способными учиться на ошибках и адаптироваться к новым условиям.

И, возможно, самое главное: стоит задуматься о том, что мы на самом деле пытаемся автоматизировать. Не просто движение из точки А в точку Б, а саму суть вождения — искусство балансирования между контролем и доверием, между предсказуемостью и спонтанностью. И эта задача, как показывает опыт, окажется куда сложнее любой технической.

Оригинал статьи: https://arxiv.org/pdf/2512.10719.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-12-14 10:41