Где ищут глаза: предсказание внимания человека в визуальном поиске

Автор: Денис Аветисян

Новое исследование демонстрирует, как комбинация текстурных и габор-фильтров может предсказывать области внимания человека при анализе изображений.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

Взаимосвязь между характеристиками Габора и текстурными признаками демонстрирует, что эти два подхода к анализу изображений тесно коррелируют, что позволяет использовать их совместно для повышения точности и надежности систем компьютерного зрения.

Исследование сочетает признаки статистической текстуры и габор-фильтров для повышения точности моделирования визуального поиска человека, в частности, в задачах анализа цифровой маммотомографии.

Понимание механизмов зрительного поиска человека остаётся сложной задачей, особенно в контексте анализа сложных визуальных сцен. В данной работе, посвященной теме ‘Predicting Region of Interest in Human Visual Search Based on Statistical Texture and Gabor Features’, исследуется возможность повышения точности предсказания областей внимания человека путем комбинирования признаков, основанных на статистической текстуре и фильтрах Габора. Полученные результаты демонстрируют сильную корреляцию между этими типами признаков и их соответствие данным отслеживания взгляда, что указывает на перспективность совместного использования структурных и текстурных характеристик для моделирования зрительного поиска. Можно ли разработать более совершенные вычислительные модели, имитирующие человеческое восприятие и способные эффективно решать задачи визуального анализа?

Зачем моделировать зрение: вызовы и перспективы анализа цифровой томосинтеза

Раннее выявление рака молочной железы с использованием цифровой томосинтеза (DBT) представляет собой сложную задачу, поскольку опухоли часто проявляются лишь тонкими визуальными признаками на изображениях. Эти признаки могут быть едва различимы, что требует от врачей-радиологов пристального внимания к деталям и тщательного анализа больших объемов данных. Поиск таких микроскопических аномалий требует значительных когнитивных усилий и высокой степени концентрации, поскольку даже незначительное упущение может привести к поздней диагностике и снижению эффективности лечения. Именно поэтому, качество и информативность DBT-изображений напрямую влияют на успешность выявления рака на ранних стадиях, что подчеркивает важность разработки методов, способствующих оптимизации визуального поиска и снижению нагрузки на врачей.

Точное предсказание точек фиксации взгляда радиолога при анализе цифровой томосинтеза молочной железы имеет решающее значение для оценки качества изображений и эффективности диагностики. Эти точки фиксированного внимания, отражающие области, где специалист концентрирует зрение, служат индикаторами наиболее значимых деталей на снимке. Моделирование этих паттернов взгляда позволяет не только выявлять потенциальные недостатки в качестве изображения, затрудняющие обнаружение микрокальцинатов или небольших опухолей, но и оценивать, насколько эффективно новые алгоритмы обработки изображений привлекают внимание к критически важным областям. Таким образом, анализ точек фиксации взгляда становится мощным инструментом для оптимизации рабочих процессов радиолога и повышения точности ранней диагностики рака молочной железы.

Существующие методы сталкиваются с трудностями при моделировании сложного взаимодействия визуальных признаков, определяющих поиск в изображениях цифровой маммотомографии (DBT). В отличие от более простых визуальных поисков, в DBT внимание радиолога распределяется нелинейно между различными областями изображения, завися от множества факторов — от контрастности и текстуры, до формы и расположения потенциальных новообразований. Текущие алгоритмы, как правило, сосредотачиваются на отдельных признаках, игнорируя их взаимосвязь и влияние контекста, что приводит к неточной имитации процесса визуального поиска, осуществляемого человеком. Это ограничивает возможности оценки качества изображений DBT и эффективности различных методов анализа, поскольку модели не способны адекватно отразить, как радиологи действительно интерпретируют и исследуют маммографические снимки.

Для повышения эффективности диагностики рака молочной железы на ранних стадиях необходима разработка вычислительной модели, способной имитировать процесс визуального поиска в изображениях цифровой томосинтеза молочной железы (DBT). Эта модель позволит детально изучить, какие именно визуальные признаки привлекают внимание радиолога, и предсказать области, к которым он, вероятнее всего, обратит внимание. Благодаря такому инструменту станет возможной объективная оценка различных методов анализа изображений, направленных на автоматическое выявление подозрительных областей, и определение наиболее эффективных подходов к улучшению качества изображений DBT для облегчения работы врачей и повышения точности диагностики. Подобная симуляция визуального поиска позволит не только оптимизировать существующие алгоритмы, но и создавать новые, более адаптивные и эффективные системы поддержки принятия решений в области радиологии.

На представленных срезах цифровой маммографии (DBT) визуализируются фантомы молочной железы с различной плотностью тканей.

Выявление закономерностей: признаки, определяющие визуальную значимость

Текстурные признаки, получаемые методами, такими как матрица совместной встречаемости уровней серого (GLCM), позволяют выявить пространственные взаимосвязи в изображениях дигитальной маммографии (DBT). GLCM анализирует, как часто различные уровни серого появляются рядом друг с другом, что позволяет количественно оценить такие характеристики изображения, как однородность, контрастность и корреляция. Эти характеристики особенно важны для выявления аномалий, поскольку опухолевые ткани часто демонстрируют отличительные текстурные паттерны, отличные от окружающей нормальной ткани. Анализ текстуры помогает выделить потенциально подозрительные области, которые затем могут быть более тщательно изучены радиологами.

Параметры GLCM (Gray-Level Co-occurrence Matrix) Contrast и Mean используются для количественной оценки характеристик тканей на изображениях. Contrast измеряет степень изменения интенсивности пикселей в локальной окрестности, позволяя выявить области с высокой вариативностью, что может указывать на патологические изменения. Mean, в свою очередь, представляет собой среднее значение интенсивности пикселей, отражающее общую яркость или плотность ткани в рассматриваемой области. Комбинированное использование этих параметров позволяет получить более полное представление о текстурных особенностях тканей и потенциально выделить подозрительные участки на изображении.

Функции Габора, полученные с помощью двухмерных Габор-фильтров, позволяют выявлять локализованные признаки ориентации и частоты в изображениях. Эти фильтры эффективно реагируют на текстуры с определенной ориентацией и частотой, что позволяет обнаруживать тонкие закономерности, которые могут быть незаметны при обычном анализе изображения. Применение Габор-фильтров основано на конволюции изображения с набором фильтров, каждый из которых настроен на определенную ориентацию и частоту. В результате формируется набор карт признаков, отражающих реакцию изображения на различные частотно-ориентационные компоненты, что обеспечивает более детальное и точное описание текстуры и структуры изображения.

Анализ данных выявил высокую корреляцию (0.765) между текстурными характеристиками, полученными с помощью матрицы совместной встречаемости уровней серого (GLCM) — в частности, средним значением пикселей — и откликами, генерируемыми Габора-фильтрами. Эта взаимосвязь указывает на наличие связи между общим изображением текстуры и локальными ориентированными структурами, важными для визуального поиска. Использование этих признаков позволяет вычислительно идентифицировать области интереса на изображениях и прогнозировать, на какие участки изображения, вероятно, обратят внимание радиологи при диагностике.

Построение пайплайна: от признаков к предсказанию фиксации взгляда

В Pipeline A используется комбинация признаков GLCM (Gray-Level Co-occurrence Matrix) и Габора для прогнозирования локаций фиксации взгляда. Признаки Габора позволяют выделить текстурные особенности изображения, в то время как GLCM описывает пространственное распределение уровней серой шкалы, что полезно для анализа структуры тканей. Для кластеризации полученных признаков и генерации масок, соответствующих потенциальным локализациям поражений, применяется Гауссовская смесь моделей (GMM). GMM позволяет идентифицировать области изображения, обладающие характеристиками, схожими с теми, которые привлекают внимание врачей-радиологов при анализе маммограмм.

Второй конвейер (Pipeline B) отличается от первого порядком вычисления признаков. Изначально рассчитываются признаки Габора для всего изображения, после чего признаки GLCM вычисляются только для предварительно отобранных кандидатов на фиксацию внимания. Такой подход позволяет снизить вычислительную нагрузку по сравнению с одновременным расчетом GLCM для всего изображения. На заключительном этапе применяется Гауссова смесь моделей (GMM) для кластеризации, выделяя области, характеризующиеся признаками, схожими с теми, на которые обращают внимание радиологи.

Оба конвейера используют Гауссовскую смесь моделей (GMM) для выявления областей изображения, обладающих признаками, схожими с теми, которые привлекают внимание радиологов. GMM позволяет идентифицировать регионы с высокой вероятностью содержать патологии, основываясь на статистическом анализе характеристик изображения, таких как текстура и градиенты. Алгоритм определяет кластеры признаков, соответствующих областям, которые часто исследуются специалистами, что позволяет сузить область поиска потенциальных поражений и повысить эффективность диагностики. Эффективность GMM обусловлена ее способностью моделировать сложные распределения данных и выделять подмножества признаков, наиболее релевантные для выявления аномалий.

Конвейер VICTRE играет ключевую роль в данном процессе, обеспечивая основу для симуляции цифровой маммографии (DBT) и генерации данных, используемых для обучения и валидации предсказательных моделей. Симуляция DBT позволяет создавать синтетические наборы данных с контролируемыми параметрами, необходимыми для разработки и тестирования алгоритмов обнаружения и классификации поражений. Сгенерированные данные включают в себя как изображения, так и соответствующие аннотации, описывающие местоположение и характеристики поражений, что обеспечивает возможность объективной оценки производительности моделей и их последующей оптимизации.

Валидация и перспективы: приближая технологию к клинической практике

Оценка эффективности разработанных алгоритмов осуществлялась посредством сопоставления предсказанных ими точек фиксации взгляда с данными, полученными в ходе анализа движения глаз человека. В ходе исследований, участникам демонстрировались маммограммы, а специальное оборудование отслеживало, на какие области изображения они обращали внимание. Затем, алгоритмы обработки изображений предсказывали наиболее вероятные точки фиксации, и эти предсказания сравнивались с реальными данными, полученными от людей. Высокая степень соответствия между предсказанными и фактическими точками фиксации подтверждает способность алгоритмов эффективно моделировать зрительное внимание радиолога, что является ключевым шагом к автоматизации и повышению точности анализа маммографических изображений.

Для обеспечения объективной оценки эффективности разработанных алгоритмов анализа маммограмм, в качестве базового уровня сравнения использовались данные, полученные путем пороговой обработки изображений. Данный подход позволил выделить области, потенциально представляющие интерес для радиолога — то есть, регионы, которые с высокой вероятностью содержат признаки патологии. Именно эти области, определенные как «подозрительные», и служили эталоном, с которым сравнивались предсказания алгоритмов о местах, куда радиолог фокусирует свое внимание при просмотре снимков. Сравнение с данными пороговой обработки позволило точно оценить способность алгоритмов выявлять те же области, что и опытный специалист, что является ключевым шагом на пути к автоматизации и повышению точности диагностики.

Успешная валидация разработанных алгоритмов, демонстрирующая их способность точно предсказывать точки фиксации взгляда, открывает новые возможности в оценке качества изображений. Эта способность позволяет перейти от субъективных оценок к объективному анализу, определяя, какие области изображения привлекают наибольшее внимание радиолога. В частности, точное определение областей, на которые направляется взгляд специалиста при анализе цифровой томосинтеза, позволяет оценить, насколько эффективно протоколы визуализации выявляют потенциальные патологии. В дальнейшем, эти данные могут быть использованы для оптимизации параметров получения изображений, снижения нагрузки на радиолога и повышения точности диагностики, что в конечном итоге способствует более эффективному скринингу рака и улучшению результатов лечения пациентов.

Изучение областей, на которые обращают внимание радиологи при анализе цифровой томосинтеза, открывает возможности для оптимизации протоколов визуализации. Понимание паттернов фокусировки внимания позволяет целенаправленно улучшать качество изображения в критически важных областях, снижая нагрузку на специалиста и повышая эффективность скрининга рака молочной железы. Такой подход способствует более раннему и точному выявлению потенциальных новообразований, что, в конечном итоге, ведет к улучшению исходов лечения и повышению качества жизни пациенток. Оптимизация визуализации не только экономит время радиолога, но и минимизирует вероятность пропущенных изменений, обеспечивая более надежную диагностику.

На ранних стадиях поиска взгляда наблюдателей 1 и 2 демонстрируют схожие паттерны фиксации.

Исследование, посвящённое предсказанию области интереса при визуальном поиске, закономерно сталкивается с проблемой переоценки «прорывных» технологий. Авторы комбинируют признаки Габора и текстурные характеристики GLCM, стремясь создать более точного наблюдателя-модель. Но как показывает практика, даже самые изящные алгоритмы рано или поздно оказываются в руках продакшена, который найдёт способ их сломать. Как метко заметил Ян ЛеКюн: «Машинное обучение — это просто поиск закономерностей в данных». И пусть эти закономерности помогают выявлять потенциальные области интереса на маммограммах, стоит помнить, что стабильность системы, даже если она стабильно падает, — это уже неплохой результат. Ведь главное — чтобы система работала предсказуемо, а не просто красиво.

Куда всё это ведёт?

Очевидно, что сочетание признаков, полученных с помощью фильтров Габора и текстурного анализа GLCM, способно дать неплохую аппроксимацию человеческого поиска. Но аппроксимация — это всегда компромисс. Удивительно, как быстро «модель наблюдателя» превращается в очередную чёрную коробку, которую нужно калибровать под каждый новый набор изображений. В конечном итоге, всё сводится к тому, чтобы научить алгоритм имитировать слабости человека, а не превзойти их. И это, пожалуй, самая большая ирония.

Очевидно, что предложенный подход имеет ограничения. Реальные медицинские изображения редко бывают идеальными. Шум, артефакты, различия в протоколах сканирования — всё это неизбежно вносит погрешности. И тогда, вместо элегантной модели, получается ещё один алгоритм, чувствительный к качеству входных данных. Возникает закономерный вопрос: а не проще ли будет улучшить качество самих изображений?

В перспективе, вероятно, стоит задуматься о более сложных моделях, учитывающих контекст и предыдущий опыт наблюдателя. Но не стоит забывать, что увеличение сложности неизбежно ведёт к увеличению вычислительных затрат и риску переобучения. Иногда лучше простого монолита, чем сотни микросервисов, каждый из которых врёт по-своему. А ещё, возможно, стоит вернуться к ручной разметке данных — иногда человеческий глаз всё ещё остаётся самым надёжным инструментом.

Оригинал статьи: https://arxiv.org/pdf/2601.07998.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-01-14 11:13