Эндоскопия в фокусе: SLAM для деформируемых тканей

Автор: Денис Аветисян

Новая система NRGS-SLAM обеспечивает точное отслеживание камеры и 3D-реконструкцию деформируемых объектов при эндоскопических исследованиях.

Предлагаемый метод NRGS-SLAM использует деформируемую 3D-карту Гаусса, дополненную вероятностями деформации и моделирующую временные изменения с помощью гауссовских базисных функций, что позволяет оценивать позу камеры и деформацию сцены на каждом кадре, используя предварительно обработанные геометрические признаки и маски видимости, а также глобально оптимизировать карту при добавлении нового ключевого кадра.

Предложена монокулярная SLAM-система, использующая 3D Gaussian Splatting и вероятностную модель деформации для реконструкции нежестких тканей в эндоскопии.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

Визуальная одновременная локализация и картографирование (V-SLAM) сталкивается с существенными трудностями при работе с эндоскопическими данными из-за постоянных деформаций мягких тканей. В данной работе, ‘NRGS-SLAM: Monocular Non-Rigid SLAM for Endoscopy via Deformation-Aware 3D Gaussian Splatting’, предложена новая система нежесткого SLAM, использующая 3D Gaussian Splatting и карту с учетом деформаций для точного отслеживания камеры и высококачественной реконструкции деформируемых сцен. Ключевым нововведением является возможность разделения жесткого движения и нежестких деформаций тканей, достигаемая за счет введения вероятности деформации для каждой примитивной Гауссовой сферы. Позволит ли предложенный подход значительно расширить возможности автономной навигации и визуализации в минимально инвазивной хирургии?

Понимание Деформируемых Сцен: Вызов для Современных Алгоритмов

Традиционные методы одновременной локализации и построения карты (SLAM) испытывают значительные трудности при работе с нежесткими сценами, особенно в контексте медицинской визуализации. Ткани организма, такие как мышцы и внутренние органы, постоянно деформируются и изменяют свою форму в процессе дыхания, сердечной деятельности или хирургического вмешательства. Это динамическое изменение геометрии сцены приводит к тому, что алгоритмы SLAM, рассчитанные на статичные объекты, дают сбой, теряя трекинг и создавая неточные карты. Проблема усугубляется сложностью различения реального движения объекта и деформации, что приводит к накоплению ошибок и дрейфу в процессе построения карты. Точность отслеживания в таких условиях критически важна для навигации хирургических инструментов и обеспечения безопасности пациента, поэтому разработка новых методов, способных эффективно работать с деформируемыми тканями, является актуальной задачей.

Высокоточная и надежная навигация в деформирующихся средах имеет первостепенное значение для современных хирургических вмешательств и наведения инструментов. В частности, в условиях динамически изменяющихся тканей, как при операциях на мягких органах, стандартные методы отслеживания положения могут давать существенные погрешности. Это создает потребность в технологиях, способных компенсировать деформации в реальном времени, обеспечивая хирургам точную визуализацию анатомических структур и возможность безопасно маневрировать инструментами. Успешная реализация таких систем не только повышает точность операций, но и потенциально сокращает время восстановления пациентов, минимизируя риски, связанные с травмированием окружающих тканей.

Существующие методы одновременной локализации и построения карты (SLAM) часто сталкиваются с трудностями при разделении жестких и нежестких деформаций, что приводит к накоплению ошибок и отклонениям в оценке положения и ориентации. Проблема заключается в том, что большинство алгоритмов предполагают, что сцена статична или подвержена только жестким преобразованиям, и не способны адекватно моделировать сложные деформации, характерные для биологических тканей или других динамически меняющихся сред. В результате, при отслеживании нежестких объектов, например, органов во время хирургической операции, алгоритм может ошибочно интерпретировать деформацию как изменение положения, что приводит к неточностям в навигации и потенциально опасным ситуациям. Разработка методов, способных эффективно разделять жесткие и нежесткие компоненты движения, является ключевой задачей для обеспечения надежной и точной работы систем SLAM в сложных и динамичных средах.

Предложенная система NRGS-SLAM решает проблему неоднозначности, возникающую при отслеживании деформирующихся объектов, используя карту 3D Гаусса, в которой вероятность деформации каждой примитивной частицы (от жесткой, отображаемой синим цветом, до нежесткой, отображаемой красным) позволяет отделить отслеживание камеры от обновления деформаций, обеспечивая точную оценку позы и фотореалистичную реконструкцию.

NRGS-SLAM: Архитектура, Учитывающая Деформации

В NRGS-SLAM для представления сцены используется ‘Деформируемая 3D Гауссова карта’, что позволяет явно моделировать деформируемые поверхности. В отличие от традиционных методов SLAM, которые предполагают жесткость сцены, данная карта представляет окружение как набор 3D гауссиан, параметры которых динамически изменяются для отражения деформаций. Каждый гауссиан характеризуется положением, ковариацией и весом, позволяя системе отслеживать и реконструировать нежесткие объекты и поверхности с высокой точностью. Использование гауссовой карты обеспечивает компактное и эффективное представление сцены, упрощая процесс отслеживания и реконструкции в условиях деформации.

Модуль деформируемого отображения в NRGS-SLAM предназначен для инкрементального расширения и уточнения представления сцены, осуществляемого с учетом баланса между уровнем детализации и вычислительными затратами. Он использует подход, при котором новые данные интегрируются в существующую карту $3D$ Гауссовых распределений, одновременно оптимизируя параметры существующих Гауссиан и добавляя новые, при необходимости. Для контроля вычислительной сложности применяется адаптивный алгоритм, регулирующий плотность Гауссиан в зависимости от локальной сложности геометрии и расстояния до камеры. Это позволяет системе эффективно обрабатывать большие сцены и поддерживать высокую частоту кадров, сохраняя при этом достаточную точность представления деформируемых поверхностей.

Модуль отслеживания деформаций обеспечивает надежную оценку позы камеры путем интеграции отслеживания с учетом деформаций и инициализации PnP (Perspective-n-Point). В процессе отслеживания, система использует деформируемую 3D-гауссову карту для прогнозирования положения камеры, учитывая изменения геометрии сцены. Инициализация PnP используется для быстрого и точного определения начальной позы камеры, после чего модуль отслеживания уточняет ее, минимизируя ошибку проекции между наблюдаемыми признаками и предсказанными позициями точек на деформируемой карте. Данный подход позволяет поддерживать высокую точность оценки позы даже при значительных деформациях сцены и обеспечивает устойчивость к шумам и выбросам.

Конвейер отслеживания деформируемых объектов состоит из двух этапов: оценки позы камеры с использованием фильтрованных 3D-2D соответствий и последующей её уточнения путём сопоставления отрисованного кадра и геометрии с текущими наблюдениями и геометрическими априорными данными, при этом оптимизация взвешивается по вероятностной карте деформации для приоритезации надёжных жёстких областей, а также обновления поля деформации на основе остаточного метода для захвата нежёстких изменений.

Надёжность Через Оптимизированную Оценку Деформаций

Для повышения устойчивости алгоритма отслеживания и снижения влияния неточных априорных данных используются методы робастной оптимизации, в частности, Итеративно Взвешенный Метод Наименьших Квадратов (IRLS). IRLS позволяет динамически корректировать веса, придаваемые различным измерениям и априорным ограничениям, уменьшая вклад выбросов и неопределенностей в процесс оптимизации. Это достигается путем итеративного пересчета весов на каждой итерации оптимизации, что позволяет более эффективно решать задачу нелинейной оптимизации и поддерживать стабильность отслеживания даже при наличии шумов и ошибок в данных.

Оптимизация в системе нежесткого SLAM (Simultaneous Localization and Mapping) направляется геометрическими априорными ограничениями, что позволяет смягчить проблему неопределенности и повысить точность и согласованность получаемой карты. Эти ограничения, основанные на предположениях о плавной деформации и непрерывности движения, позволяют сузить пространство поиска оптимального решения, предотвращая нереалистичные деформации и обеспечивая более стабильную оценку траектории и карты. Использование геометрических априорных ограничений эффективно снижает влияние шума и неопределенности в сенсорных данных, что особенно важно в сложных и динамичных средах.

В системе реализовано обучение вероятностям деформации посредством байесовского самообучения. Этот подход позволяет оценивать распределение вероятностей деформаций на основе анализа наблюдаемых изображений, без необходимости в ручной разметке или предварительных знаниях о структуре деформируемого объекта. Наблюдаемые данные из изображений используются для обновления априорного распределения вероятностей деформации, что позволяет системе адаптироваться к различным сценариям и повышать точность оценки деформаций в условиях неопределенности. Алгоритм самообучения позволяет итеративно уточнять модель деформаций, минимизируя расхождение между предсказанными и наблюдаемыми изменениями в изображении, и формировать надежную оценку вероятностей деформаций для каждого пикселя или точки объекта.

Используя 3D гауссовы примитивы с обучаемой вероятностью деформации <span class="katex-eq" data-katex-display="false">w_d</span>, система создает карту уверенности деформации <span class="katex-eq" data-katex-display="false">𝐌_{def}</span>, позволяющую отделить движение камеры от деформации сцены и повысить точность отслеживания и построения карты. — Используя 3D гауссовы примитивы с обучаемой вероятностью деформации $w_d$ , система создает карту уверенности деформации $𝐌_{def}$ , позволяющую отделить движение камеры от деформации сцены и повысить точность отслеживания и построения карты.

Подтверждение Эффективности на Сложных Наборах Данных

Система NRGS-SLAM подверглась всестороннему тестированию на трех признанных наборах данных: StereoMIS, Hamlyn и C3VDv2. Результаты экспериментов демонстрируют передовые показатели производительности в задачах одновременной локализации и построения карты (SLAM). Оценка проводилась в сложных условиях, характерных для эндоскопических исследований, что позволило подтвердить надежность и точность разработанного подхода. Успешное функционирование системы в различных сценариях использования подтверждает ее потенциал для широкого применения в медицинской робототехнике и навигации.

Количественная оценка, основанная на метриках абсолютной траекторной ошибки, отношения сигнал/шум, индекса структурного сходства и Learned Perceptual Image Patch Similarity, последовательно демонстрировала превосходство разработанной системы над существующими методами. В частности, на последовательности StereoMIS P2_5 достигнута среднеквадратичная ошибка (RMSE) в 7.41 мм, что на 50.3% превышает результаты второго по эффективности метода в режиме Clip и на 42.8% — на полных последовательностях. Данные показатели свидетельствуют о значительном улучшении точности и стабильности алгоритма в сложных условиях, что подтверждает эффективность предложенного подхода к решению задачи SLAM.

В ходе оценки на наборе данных C3VDv2 система NRGS-SLAM продемонстрировала минимальное значение среднеквадратичной ошибки (RMSE) среди всех представленных методов, что свидетельствует о высокой точности определения положения камеры в сложных условиях. Кроме того, анализ качества реконструируемых изображений, проведенный на наборе данных StereoMIS, выявил превосходство NRGS-SLAM по показателям пикового отношения сигнал/шум (PSNR) и индекса структурного сходства (SSIM). Эти результаты подтверждают, что разработанный подход, учитывающий деформации, обеспечивает не только высокую точность, но и превосходное качество визуализации в задачах одновременной локализации и построения карты (SLAM) в эндоскопических средах.

Полученные результаты подтверждают эффективность предложенного подхода, учитывающего деформации, для обеспечения надежной и точной работы SLAM-системы в сложных условиях эндоскопической среды. Доказано, что способность алгоритма адаптироваться к искажениям, возникающим при эндоскопической визуализации, значительно повышает точность построения карты и оценки траектории движения. Показанные улучшения в метриках, таких как $RMSE$ , $PSNR$ и $SSIM$ , на различных наборах данных, включая StereoMIS, Hamlyn и C3VDv2, демонстрируют превосходство разработанной системы над существующими решениями и открывают перспективы для широкого применения в медицинской робототехнике и навигации.

В результате качественного сравнения на последовательности P2-5 датасета StereoMIS, NRGS-SLAM обеспечивает более полное и точное восстановление структуры окружения с меньшим количеством артефактов по сравнению с 4DTAM, что визуализируется траекториями камер (синим цветом) и областями для сравнения (циан).

Исследование демонстрирует, как точное отслеживание камеры и реконструкция деформируемых сцен в эндоскопической хирургии становятся возможными благодаря инновационному подходу к разделению жесткого движения и нежестких деформаций тканей. Как отмечал Дэвид Марр: «Представление — это не просто описание, но и процесс, который позволяет предсказывать и интерпретировать данные». В данном случае, предложенная система NRGS-SLAM воплощает эту идею, создавая деформационно-осведомленную карту, которая позволяет точно моделировать и прогнозировать поведение тканей, что критически важно для успешного проведения минимально инвазивных операций. Использование 3D Gaussian Splatting позволяет эффективно представлять сложные деформации, а байесовский самоконтроль обеспечивает надежность и точность реконструкции.

Что дальше?

Представленная работа, несомненно, демонстрирует перспективность подхода к построению деформируемых карт в эндоскопии. Однако, за визуально впечатляющими реконструкциями скрывается более глубокий вопрос: достаточно ли текущего представления о «деформации»? Ведь каждое изображение несет в себе не только информацию о геометрических изменениях, но и о внутренних силах, определяющих эти изменения. Игнорирование этих сил — это упрощение, которое может стать узким местом в будущем.

Следующим шагом представляется не просто повышение точности регистрации, но и разработка моделей, способных предсказывать деформацию. Необходима интеграция физически обоснованных моделей ткани с алгоритмами SLAM, что потребует значительных вычислительных ресурсов и, возможно, новых архитектур нейронных сетей. Важно также исследовать возможности байесовского подхода не только для самообучения, но и для оценки неопределенности в предсказаниях деформации.

В конечном счете, истинный прогресс заключается не в создании все более детализированных карт, а в понимании закономерностей, лежащих в основе деформируемых сцен. Каждое изображение — это лишь проекция сложной реальности, и интерпретация этих проекций требует не только математической строгости, но и креативного подхода к моделированию.

Оригинал статьи: https://arxiv.org/pdf/2602.17182.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-02-23 05:05