Восстановление формы позвоночника по ультразвуку: новый подход

Автор: Денис Аветисян

Исследователи разработали метод, позволяющий воссоздавать трехмерную модель позвоночника на основе данных ультразвукового сканирования, используя возможности нейронных сетей.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

Предложенная схема обучения объединяет акустическую и геометрическую ветви нейронной сети через общее латентное пространство <span class="katex-eq" data-katex-display="false">\mathcal{Z}</span> и основу <span class="katex-eq" data-katex-display="false">f\_{\theta}</span>, используя как синтез B-моды (<span class="katex-eq" data-katex-display="false">\mathcal{L}\_{photo}</span>), так и истинную заполненность формы (<span class="katex-eq" data-katex-display="false">\mathcal{L}\_{occ}</span>) для моделирования акустической тени, при этом на этапе инференса оптимизируется латентный код <span class="katex-eq" data-katex-display="false">\mathbf{z}^{\<i>}</span> по фрагментированным B-модным наблюдениям (<span class="katex-eq" data-katex-display="false">\mathcal{L}\_{tto}</span>) для восстановления полной 3D-геометрии <span class="katex-eq" data-katex-display="false">o(\mathbf{x}\mid\mathbf{z}^{\</i>})</span>. — Предложенная схема обучения объединяет акустическую и геометрическую ветви нейронной сети через общее латентное пространство $\mathcal{Z}$ и основу $f\_{\theta}$ , используя как синтез B-моды ( $\mathcal{L}\_{photo}$ ), так и истинную заполненность формы ( $\mathcal{L}\_{occ}$ ) для моделирования акустической тени, при этом на этапе инференса оптимизируется латентный код $\mathbf{z}^{\<i>}$ по фрагментированным B-модным наблюдениям ( $\mathcal{L}\_{tto}$ ) для восстановления полной 3D-геометрии $o(\mathbf{x}\mid\mathbf{z}^{\</i>})$ .

Представлена система OSCAR, использующая неявные нейронные представления и физически корректную визуализацию для точного восстановления формы позвоночника без использования размеченных данных.

Восстановление трехмерной анатомии позвоночника по данным ультразвукового исследования остается сложной задачей из-за акустического затенения и вариативности сигнала. В данной работе представлена методика ‘OSCAR: Occupancy-based Shape Completion via Acoustic Neural Implicit Representations’ для завершения формы на основе анализа заполненности пространства, использующая неявные нейронные представления и учет акустических свойств среды. Предложенный подход позволяет реконструировать полную трехмерную геометрию из частичных ультразвуковых данных без необходимости использования размеченных данных во время работы. Сможет ли данная методика значительно повысить точность и эффективность минимально инвазивных спинальных вмешательств и открыть новые горизонты в медицинской визуализации?

Точность ради точности: проблема неполных анатомических данных

Точная анатомическая реконструкция играет ключевую роль в современной медицинской визуализации, однако стандартные методы часто сталкиваются с трудностями при обработке неполных данных, особенно в ультразвуковых исследованиях. Проблема усугубляется фрагментарностью получаемых изображений, когда важные анатомические структуры могут быть скрыты или плохо визуализированы. Это создает серьезные препятствия для точной диагностики и планирования хирургических вмешательств, требуя разработки новых подходов к восстановлению недостающей информации и повышению надежности ультразвуковой визуализации. Неспособность адекватно реконструировать анатомические структуры из неполных данных напрямую влияет на клиническую эффективность и безопасность пациентов.

Традиционные методы завершения формы, используемые в медицинской визуализации, часто опираются на предопределенные анатомические модели — так называемые статистические модели формы. Однако, эти модели зачастую не учитывают специфику формирования акустического изображения, особенно в ультразвуковой диагностике. Они предполагают идеальные условия распространения ультразвуковых волн и не способны адекватно обрабатывать искажения, вызванные неоднородностью тканей и явлениями акустического затенения. В результате, применение таких моделей к реальным ультразвуковым данным приводит к неточностям и артефактам в реконструкции анатомических структур, ограничивая их практическую ценность и требуя разработки более адаптивных подходов, учитывающих физические принципы формирования ультразвукового сигнала.

В ультразвуковой визуализации, в частности при получении изображений в B-режиме, существенным ограничением является явление акустического затенения. Это происходит из-за того, что ультразвуковые волны ослабевают при прохождении через ткани различной плотности, создавая области на изображении, где сигнал практически отсутствует. В результате формируются неполные изображения, затрудняющие точную реконструкцию анатомических структур и постановку правильного диагноза. Акустическое затенение особенно выражено при визуализации глубоко расположенных органов или структур, окруженных костной тканью или газом, что снижает информативность ультразвукового исследования и требует применения дополнительных методов или алгоритмов для восстановления недостающих данных и повышения точности реконструкции.

Оптимизация латентного кода <span class="katex-eq" data-katex-display="false">\mathbf{z}</span> по целевой форме позволяет точно предсказывать акустическое пространство, что свидетельствует о тесной структурно-акустической связи. — Оптимизация латентного кода $\mathbf{z}$ по целевой форме позволяет точно предсказывать акустическое пространство, что свидетельствует о тесной структурно-акустической связи.

OSCAR: неявные представления для точного восстановления формы

Представляем `OSCAR` — новую структуру, основанную на использовании `Neural Implicit Representations` для кодирования трехмерных форм. В отличие от дискретных моделей, таких как mesh-сети или воксельные представления, `OSCAR` использует непрерывное представление, что обеспечивает более эффективное хранение и обработку данных. Непрерывное кодирование позволяет избежать проблем, связанных с разрешением и дискретизацией, характерных для дискретных моделей, и потенциально снижает требования к объему памяти и вычислительным ресурсам. Данный подход позволяет представлять сложные геометрические формы с высокой точностью, используя относительно небольшое количество параметров.

Система `OSCAR` использует представление в виде поля заполненности (Occupancy Field) для кодирования формы объектов. В отличие от дискретных моделей, поле заполненности описывает вероятность того, что заданная точка в пространстве находится внутри объекта. Это позволяет реконструировать геометрию даже при значительном перекрытии или отсутствии данных (data occlusion), поскольку система может интерполировать и экстраполировать форму, опираясь на существующие данные и непрерывное представление. Фактически, система определяет, занято ли определенное пространство объектом, а не просто хранит набор точек или полигонов.

В основе нашей работы лежат принципы, разработанные в рамках исследований `Occupancy Networks` и `DeepSDF`, позволяющие перейти от явных представлений трехмерных объектов к обучению непрерывных априорных моделей формы. В отличие от традиционных методов, оперирующих дискретными представлениями, такими как сетки или облака точек, `Occupancy Networks` и `DeepSDF` используют неявные функции для кодирования геометрии. Это позволяет представлять форму объекта как функцию, отображающую трехмерные координаты в значение, указывающее на принадлежность точки объекту. Обучение таких функций на больших наборах данных позволяет получить обобщенные априорные знания о форме, которые могут быть использованы для реконструкции объектов даже при наличии неполных или зашумленных данных. Использование непрерывных представлений позволяет добиться более компактного хранения и эффективной обработки информации о форме, а также упрощает задачу интерполяции и экстраполяции.

Результаты визуального анализа реконструированных сеток демонстрируют, что OSCAR обеспечивает лучшее понимание структуры и точное завершение невидимой анатомии по сравнению с NISF и SITD, которому требуется сегментация.

Моделирование акустики и оптимизация: как OSCAR видит сквозь ткани

В системе $OSCAR$ для моделирования распространения акустического сигнала используется метод трассировки лучей (Ray Tracing). Этот подход позволяет генерировать реалистичные изображения в формате B-mode УЗИ, учитывая физические свойства распространения ультразвуковых волн в тканях. Важным аспектом является учет акустического затенения — ослабления сигнала за объектами, препятствующими прохождению ультразвука. Трассировка лучей позволяет точно моделировать этот эффект, обеспечивая более точное представление о структуре внутренних органов на ультразвуковых изображениях и повышая диагностическую ценность получаемых данных.

В рамках системы используется стратегия самообучающейся оптимизации во время тестирования (Self-Supervised Test-Time Optimization) для формирования общего латентного пространства непосредственно из медицинских изображений. Этот подход позволяет извлекать признаки и строить представления данных без использования размеченных данных, что повышает устойчивость и обобщающую способность модели при анализе новых изображений. Оптимизация во время тестирования адаптирует модель к специфическим характеристикам каждого изображения, улучшая точность вывода и снижая зависимость от предобученных параметров. Формирование общего латентного пространства обеспечивает компактное представление данных и позволяет эффективно выполнять различные задачи, связанные с обработкой и анализом медицинских изображений.

Обучение фреймворка осуществляется с использованием функции потерь $Binary Cross-Entropy$ , которая позволяет эффективно оценивать разницу между предсказанными и истинными значениями пикселей при завершении формы. Для оптимизации процесса обучения применяется алгоритм $Adam Optimizer$ , характеризующийся адаптивной скоростью обучения и позволяющий быстро и эффективно находить оптимальные параметры модели, обеспечивая высокую точность и скорость завершения формы на медицинских изображениях.

Линейная интерполяция латентных кодов позволяет плавно переходить от средней формы к целевой, демонстрируя, что наша система изучает непрерывный и валидный геометрический приоритет.

Превосходство на практике: OSCAR против существующих решений

Количественная оценка, основанная на метриках, таких как $HD95$ и индексе структурного сходства, продемонстрировала превосходство разработанной системы $OSCAR$ над существующими методами, включая передовые решения $SITD$ и $NISF$ . В частности, $OSCAR$ показала улучшение показателя $HD95$ на 80% по сравнению с $SITD$ , что свидетельствует о значительном прогрессе в точности и надежности реконструкции формы. Данный результат подтверждает эффективность предложенного подхода и его потенциал для применения в задачах, требующих высокой точности моделирования и анализа изображений.

Система OSCAR демонстрирует высокую надежность и точность восстановления формы объектов на реальных ультразвуковых изображениях благодаря эффективному преодолению разрыва между симуляцией и реальностью — так называемому “Sim-to-Real Domain Gap”. Традиционно, модели, обученные на синтетических данных, испытывают трудности при адаптации к шуму и неидеальности реальных медицинских изображений. OSCAR, напротив, использует инновационные методы, позволяющие переносить знания, полученные в контролируемой симуляционной среде, на сложные и непредсказуемые условия реального ультразвукового сканирования. Это обеспечивает стабильную и достоверную реконструкцию формы, что особенно важно для клинических приложений, где точность диагностики имеет решающее значение.

Внедрение априорной информации о форме объекта значительно повышает точность и устойчивость процесса реконструкции, особенно в сложных случаях, когда данные неполны или зашумлены. Система $OSCAR$ использует эту априорную информацию для более эффективного восстановления формы, что подтверждается результатами количественной оценки. В частности, $OSCAR$ демонстрирует улучшение показателя $HD95$ на 61% по сравнению с базовым методом $NISF$ , что свидетельствует о значительном прогрессе в преодолении трудностей, связанных с неполнотой и неопределенностью данных реконструкции. Такой подход позволяет получать более достоверные и реалистичные результаты, даже в самых сложных сценариях.

Наша система успешно восстанавливает формы по данным реальных B-мод, преодолевая разрыв между симуляцией и реальностью, в отличие от SITD, которому для этого требуются явные метки облака точек.

Взгляд в будущее: расширяя горизонты медицинской визуализации

Предстоящие исследования направлены на расширение возможностей `OSCAR` для обработки более сложных анатомических структур и применения к различным методам медицинской визуализации. В настоящее время, система демонстрирует перспективные результаты в работе с относительно простыми объектами, однако, для полноценного клинического применения необходима адаптация к более детализированным и разнообразным анатомическим областям, таким как сосудистая система или сложные органы. Это потребует усовершенствования алгоритмов и увеличения вычислительных ресурсов, а также обучения модели на обширных наборах данных, охватывающих различные патологии и варианты нормальной анатомии. Разработка универсальной платформы, способной эффективно работать с данными, полученными при помощи компьютерной томографии, магнитно-резонансной томографии и ультразвукового исследования, позволит значительно расширить область применения `OSCAR` и внести существенный вклад в развитие современной медицинской диагностики.

Исследования потенциала системы `OSCAR` для восстановления формы объектов в реальном времени открывают перспективы для значительного улучшения хирургической практики. Благодаря возможности оперативно завершать неполные изображения анатомических структур, `OSCAR` может служить надежным инструментом для навигации и контроля во время операций. Это особенно важно в сложных хирургических вмешательствах, где точное понимание анатомии является критически важным. Возможность визуализировать невидимые части органов или тканей непосредственно в операционной позволит хирургам более эффективно планировать действия, минимизировать риски и повысить точность хирургических манипуляций, что в конечном итоге приведет к улучшению результатов лечения пациентов.

Исследования направлены на интеграцию системы `OSCAR` с другими инструментами искусственного интеллекта, используемыми в диагностике, что открывает перспективы для повышения точности и персонализации медицинской помощи. Объединение возможностей `OSCAR` по восстановлению формы изображений с аналитическими способностями существующих систем позволит более детально оценивать состояние органов и тканей, выявлять даже незначительные отклонения от нормы и прогнозировать развитие заболеваний. Такой подход позволит перейти от общей диагностики к индивидуальным решениям, учитывающим уникальные характеристики каждого пациента, что, в свою очередь, может значительно повысить эффективность лечения и улучшить качество жизни. В перспективе, подобная интеграция позволит создавать комплексные диагностические платформы, способные оказывать поддержку врачам на всех этапах — от первичной диагностики до планирования хирургического вмешательства и мониторинга результатов лечения.

Работа над системой OSCAR, стремящаяся к воссозданию формы позвоночника по данным ультразвука, неизменно напоминает о тщетности усилий. Попытка обучить машину интерпретировать неполные данные и «достраивать» недостающие фрагменты — это, по сути, вечная гонка за идеалом, который никогда не будет достигнут. Как метко заметил Джеффри Хинтон: «Я думаю, что мы должны перестать думать об обучении машин, а начать думать об обучении программ» (Я считаю, что нам следует прекратить думать об обучении машин, а начать думать об обучении программ). Ведь, в конечном итоге, даже самая изящная нейронная сеть — это лишь набор инструкций, которые рано или поздно столкнутся с реальностью неидеальных данных. Особенно, если учесть, что, как показывает практика, «cloud-native» решение этой задачи, скорее всего, окажется просто более дорогим способом получить те же самые артефакты. Система стабильно падает? Значит, хотя бы последовательна.

Что дальше?

Представленный подход, безусловно, элегантен. Нейронные неявные представления, подкреплённые акустическим моделированием… Звучит как прорыв. Но, как показывает опыт, любая «революционная» библиотека рано или поздно превращается в техдолг. Скоро, вероятно, выяснится, что ультразвуковое изображение — это всего лишь один из многих источников шума, а попытка обойти отсутствие размеченных данных — лишь отсрочка неизбежного. Интересно, сколько ресурсов придётся потратить, чтобы эта система корректно работала с пациентами, у которых позвоночник имеет хоть малейшие отклонения от идеальной модели.

Вполне вероятно, что следующие шаги будут связаны не с усовершенствованием архитектуры, а с поиском способов автоматической генерации размеченных данных. Или, что ещё вероятнее, с изобретением новой метрики, позволяющей игнорировать очевидные недостатки. Впрочем, это лишь предположения. История учит, что часто самые перспективные направления оказываются тупиковыми. И все эти «физически обоснованные рендеринги» — всего лишь попытка замаскировать грубые приближения.

В конечном итоге, всё новое — это просто старое с худшей документацией. Возможно, через пару лет появится библиотека, которая будет выполнять ту же задачу, но с другим названием и большим количеством параметров. И тогда все снова начнут говорить о «прорыве». А позвоночники останутся такими же сложными и непредсказуемыми, как и всегда.

Оригинал статьи: https://arxiv.org/pdf/2603.08279.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-03-11 01:37