Медицинская визуализация: Как точность подсказок влияет на 3D-сегментацию

Автор: Денис Аветисян

Новое исследование показывает, насколько сильно неточные визуальные подсказки могут ухудшить качество сегментации медицинских изображений в 3D.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

При использовании интерактивной сегментации, модель демонстрирует чувствительность к незначительным изменениям в запросе: сужение или расширение границ объекта в запросе приводит к неточностям в сегментации органов, в то время как добавление ограничивающих вокселов (“Cavity”) повышает надёжность определения их границ.

Оценка устойчивости современных моделей 3D-сегментации к неточностям и морфологическим изменениям в визуальных подсказках.

Несмотря на многообещающие результаты, демонстрируемые фундаментальными 3D-моделями в задачах сегментации медицинских изображений по визуальным подсказкам, их устойчивость к неточностям этих подсказок остается малоизученной. В данной работе, озаглавленной ‘On The Robustness of Foundational 3D Medical Image Segmentation Models Against Imprecise Visual Prompts’, проведено систематическое исследование влияния различных контролируемых возмущений плотных визуальных подсказок, имитирующих реальную неточность ввода. Полученные результаты показывают, что модели особенно чувствительны к изменениям формы и пространственного расположения объектов, что подчеркивает важность разработки более устойчивых методов сегментации. Какие стратегии можно использовать для повышения надежности фундаментальных моделей и снижения их зависимости от точности визуальных подсказок в клинической практике?

Трудности ручной разметки и рождение управляемой сегментации

Традиционная сегментация медицинских изображений сталкивается с существенными трудностями из-за высокой вариативности анатомических структур и особенностей получения данных. Для достижения удовлетворительной точности требуется обширная ручная разметка изображений квалифицированными специалистами, что является трудоемким, дорогостоящим и подверженным ошибкам процессом. Различия в протоколах сканирования, индивидуальные анатомические особенности пациентов и шум на изображениях приводят к неоднородности данных, требующей значительных усилий для создания надежных алгоритмов сегментации. Эта проблема особенно актуальна для трехмерных изображений, где ручная разметка становится еще более сложной и затратной по времени, ограничивая возможности широкого применения автоматизированных методов анализа в клинической практике.

Традиционные методы сегментации медицинских изображений часто сталкиваются с проблемами, связанными с изменчивостью данных и требуют значительных затрат времени и ресурсов на ручную разметку. В отличие от них, технология “управляемой подсказкой” сегментации представляет собой принципиально новый подход, позволяющий пользователю направлять процесс выделения интересующих структур посредством простых инструкций. Этот метод существенно снижает необходимость в обширных аннотациях, поскольку модель обучается реагировать на интерактивные указания, что делает анализ изображений более эффективным и доступным. Такой подход открывает возможности для быстрой и точной сегментации даже в сложных случаях, где ручная разметка была бы трудоемкой или невозможной.

Модели, подобные SAM (Segment Anything Model), продемонстрировали впечатляющую способность к сегментации изображений, открывая новые перспективы в медицинской визуализации. Однако, перенос этой эффективности на трехмерные медицинские изображения представляет собой сложную задачу. В отличие от двумерных снимков, трехмерные данные характеризуются значительно большей сложностью и объемом, что требует разработки новых алгоритмов и подходов к обработке. Проблема усугубляется неоднородностью тканей, различиями в контрастности и необходимостью точного выделения мелких анатомических структур. Эффективное применение promptable segmentation в 3D требует решения задач, связанных с оптимизацией использования пользовательских подсказок в трехмерном пространстве, повышением вычислительной эффективности и обеспечением точности сегментации даже при ограниченном количестве входных данных.

Несмотря на свою интуитивность, использование небольшого количества взаимодействий, или “sparse interactions”, в процессе сегментации медицинских изображений зачастую не обеспечивает необходимой точности для детального выделения анатомических структур. В отличие от плотных взаимодействий, требующих значительных временных затрат, sparse interactions могут быть недостаточны для корректного определения границ сложных объектов, особенно в трехмерных объемах данных. Это связано с тем, что небольшое количество подсказок может быть интерпретировано неоднозначно, приводя к неточностям в сегментации и, как следствие, к потенциальным ошибкам в диагностике и планировании лечения. Для повышения точности необходимы методы, позволяющие эффективно комбинировать sparse interactions с другими техниками сегментации или использовать более сложные стратегии интерпретации пользовательских подсказок.

Результаты работы SAM-Med3D демонстрируют устойчивость к различным изменениям в запросах, обеспечивая качественную сегментацию органов.

SAM-Med3D: Расширяем возможности SAM для трехмерной визуализации

SAM-Med3D представляет собой расширение архитектуры SAM (Segment Anything Model), адаптированное для задач сегментации в трехмерных медицинских изображениях. В отличие от оригинальной SAM, предназначенной для двумерных изображений, SAM-Med3D обрабатывает объемные данные, такие как данные компьютерной томографии (КТ) или магнитно-резонансной томографии (МРТ). Адаптация включает в себя модификацию архитектуры сети для эффективной обработки трехмерных данных и обучение на специализированном наборе данных медицинских изображений, что позволяет ей точно выделять интересующие области в трехмерном пространстве. При этом сохраняется ключевая концепция SAM — способность к сегментации на основе различных подсказок (prompts).

Ключевым фактором эффективности SAM-Med3D является использование подсказок (prompts) — визуальных сигналов, определяющих интересующие области на медицинских изображениях. Эти подсказки, предоставляемые пользователем, позволяют осуществлять интерактивную сегментацию, то есть выделение определенных структур или объектов. В отличие от автоматической сегментации, где алгоритм работает самостоятельно, интерактивная сегментация требует минимального вмешательства пользователя для уточнения границ объектов и повышения точности результата. Предоставление подсказок позволяет алгоритму SAM-Med3D быстро и эффективно локализовать и выделить целевые структуры, даже в сложных и неоднородных изображениях.

Для оптимизации производительности и эффективного использования вычислительных ресурсов в SAM-Med3D применяются этапы предварительной обработки данных, включающие в себя нормализацию по Z-оценке (Z-Score Normalization) и обрезку области интереса (ROI Cropping). Нормализация по Z-оценке стандартизирует интенсивность вокселей, приводя их к нулевому среднему и единичному стандартному отклонению, что улучшает стабильность и сходимость модели. Обрезка области интереса позволяет уменьшить объем обрабатываемых данных, фокусируясь исключительно на релевантных областях изображения, что значительно снижает потребность в памяти и времени вычислений, особенно при работе с объемными медицинскими изображениями.

Для обеспечения точной сегментации в SAM-Med3D используется кодирование подсказок (prompts) через входные каналы. Вместо обработки подсказок как отдельных параметров, система преобразует их в изображения, которые подаются на вход сети через дополнительные каналы. Это позволяет модели непосредственно учитывать визуальную информацию, содержащуюся в подсказке, при определении границ интересующей области. Такой подход обеспечивает более эффективное взаимодействие с моделью и повышает точность сегментации по сравнению с методами, требующими отдельной обработки подсказок.

Сравнение SAM-Med3D и nnInteractive показывает, что обе модели успешно сегментируют органы брюшной полости даже при смещенных подсказках.

Робастность к возмущениям и адаптация к неидеальным данным

В реальных условиях, входные запросы для систем анализа изображений редко бывают идеальными. Несоответствия могут проявляться в виде неточного позиционирования интересующего объекта, недостаточной детализации или неполноты информации, необходимой для корректной обработки. На практике, это означает, что запрос может содержать ошибки в координатах, неполное описание целевой структуры или искажения, вызванные шумами или артефактами изображения. В результате, система должна быть способна эффективно обрабатывать неполные или неточные входные данные, чтобы обеспечить надежное и точное выполнение поставленной задачи. Отсутствие идеальных запросов требует разработки алгоритмов, устойчивых к вариациям и неточностям входных данных.

Для моделирования неидеальных запросов, характеризующихся неточностью или неполнотой, применяются морфологические преобразования, включающие в себя дилатацию (расширение), эрозию (сужение) и эрозию с сохранением границ. Дилатация увеличивает размеры объектов на изображении, имитируя размытые или нечеткие границы, в то время как эрозия уменьшает их, моделируя пропущенные детали. Эрозия с сохранением границ, в свою очередь, стремится сохранить общую форму объекта при уменьшении его размеров, что соответствует ситуациям, когда запрос содержит неполную информацию, но при этом сохраняет ключевые признаки объекта. Эти преобразования позволяют оценить устойчивость модели к вариациям в качестве входных данных и проверить её способность к обобщению.

Пространственное смещение (Spatial Translation) используется для оценки способности модели к обобщению на слегка измененных входных данных. Этот метод предполагает искусственное смещение входного изображения (промпта) в пространстве, имитируя ситуации, когда объект интереса не находится точно в центре внимания или имеет небольшие отклонения в положении. Анализ производительности модели при таких смещениях позволяет определить ее устойчивость к вариациям входных данных и оценить способность правильно идентифицировать и сегментировать целевой объект, несмотря на его незначительное смещение в кадре. Это особенно важно для задач, где точное позиционирование объекта в исходном промпте не гарантируется, например, при автоматической разметке медицинских изображений или анализе видеопотока.

Функция Auto-Zoom динамически корректирует область интереса (ROI) в процессе обработки изображения, что позволяет гарантировать полное захватывание органа, несмотря на неточности или неполноту исходного запроса. Алгоритм автоматически увеличивает и перемещает ROI, анализируя границы и признаки органа, чтобы включить в анализ все его части, даже если первоначальное позиционирование или размер области были некорректными. Это особенно важно при анализе изображений, полученных в реальных клинических условиях, где точность исходных данных может быть ограничена.

Смещение подсказок по органам позволяет добиться лучшей производительности как для SAM-Med3D, так и для nnInteractive.

Валидация и перспективы клинического внедрения

Для всесторонней оценки эффективности и устойчивости модели SAM-Med3D проводилось строгое тестирование на датасете BTCV. Этот датасет, содержащий разнообразные изображения органов брюшной полости, позволил оценить способность модели к точному выделению границ органов при различных помехах и искажениях. Анализ включал в себя оценку производительности при эрозии и дилатации изображений, а также при смещении входных подсказок. Тщательное тестирование на BTCV позволило выявить сильные и слабые стороны SAM-Med3D, обеспечивая надёжную основу для дальнейшей оптимизации и демонстрации её потенциала в клинических приложениях, где точность и надежность являются критически важными.

Точность сегментации оценивалась с помощью коэффициента Дайса, позволяющего количественно определить степень соответствия между предсказанной и фактической областью органа. Исследования показали, что при увеличении степени эрозии или дилатации изображений, точность сегментации заметно снижается. Эрозия, процесс удаления пикселей с границ объектов, приводит к уменьшению предсказанной области органа, в то время как дилатация, наоборот, увеличивает ее. Данное снижение точности подчеркивает важность сохранения четких границ органов при обработке медицинских изображений и указывает на необходимость разработки алгоритмов, устойчивых к таким геометрическим искажениям. Потеря точности, хоть и ожидаемая, демонстрирует чувствительность алгоритмов сегментации к изменениям в исходных данных и требует дальнейшей оптимизации для обеспечения надежных результатов.

Для повышения точности сегментации медицинских изображений активно используется априорная информация о форме органов. Исследования показали, что интеграция сведений о типичной геометрии, усиленная данными о границах объектов, позволяет значительно улучшить результаты. Особое внимание уделяется методикам, сохраняющим границы при эрозии изображений, что критически важно для точного определения контуров органов. Такой подход, сочетающий в себе знание об общей форме и точное определение границ, позволяет нивелировать погрешности, возникающие при обработке изображений с шумами или нечеткостями, и обеспечивает более надежную сегментацию, особенно для органов сложной формы и небольших размеров.

Исследования показали, что точность сегментации небольших органов, таких как желчный пузырь, существенно снижается при незначительных изменениях входных данных — так называемых “возмущениях” в запросах. В отличие от них, более крупные органы, например, печень, демонстрируют большую устойчивость к подобным помехам. Разработанная система SAM-Med3D превосходит алгоритм nnInteractive в плане устойчивости к сдвигам входных запросов, особенно при сегментации небольших и неправильной формы органов. В частности, nnInteractive демонстрирует заметное снижение показателей Dice Score при пространственном смещении запроса, что указывает на его меньшую надежность при работе с мелкими анатомическими структурами. Это подчеркивает важность разработки алгоритмов, способных сохранять точность сегментации даже при неидеальных входных данных, что критически важно для клинического применения.

Изменение силы возмущений запроса (радиус для дилатации/эрозии, толщина границы для эрозии с сохранением границ) влияет на тенденции сегментации различных органов, при этом ширина цветовых полос отражает стандартное отклонение между выборками.

Исследование устойчивости моделей 3D-сегментации медицинских изображений к неточным визуальным подсказкам закономерно выявило их хрупкость. Модели, претендующие на универсальность, оказываются чувствительны к незначительным морфологическим искажениям во входных данных. Как метко заметил Юрген Хабермас: «Коммуникативное действие нуждается в четких рамках, иначе оно превращается в шум». В контексте анализа изображений, неточные подсказки — это и есть этот шум, нарушающий способность модели к корректной интерпретации. Упор на включение информации о форме в запросы — это попытка установить эти самые рамки, пусть и постфактум, чтобы хоть как-то стабилизировать процесс сегментации. Очевидно, что элегантная теория «универсальных» моделей разбивается о суровую реальность неидеальных данных.

Что дальше?

Представленная работа, как и большинство, лишь аккуратно подсветила неизбежное. Модели, щедро одарённые возможностью «понимать» визуальные подсказки, закономерно оказываются хрупкими там, где подсказки перестают быть идеальными. Удивительно, что кому-то вообще казалось, что «самовосстанавливающиеся» системы сегментации — это что-то большее, чем просто ещё не сломанные. Очевидно, что устойчивость к морфологическим искажениям — это не свойство архитектуры, а вопрос количества и качества данных, на которых она была обучена. И когда найдётся достаточно ушлый инженер, который научится генерировать изображения с контролируемым уровнем «шума», все эти «робастные» модели неизбежно дадут трещину.

Следующим шагом, вероятно, станет попытка создать «мета-подсказки» — алгоритмы, которые сами генерируют оптимальные запросы для сегментации. Но, как показывает опыт миграций, каждая новая абстракция — это новый слой сложности, который рано или поздно придёт в негодность. Ведь документация — это всего лишь форма коллективного самообмана, а когда баг воспроизводится — это признак не стабильности системы, а свидетельство того, что мы его достаточно хорошо понимаем, чтобы зафиксировать.

В конечном счёте, вся эта гонка за «интеллектуальной» сегментацией — лишь отсрочка неизбежного. Продакшен всегда найдёт способ сломать элегантную теорию. И, возможно, через десять лет все вернутся к хорошему старому ручному редактированию сегментаций, осознав, что человеческий глаз — это всё ещё самый надёжный алгоритм.

Оригинал статьи: https://arxiv.org/pdf/2601.16383.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-01-27 01:44