Искусственное зрение: как обучить модели находить аномалии без единого примера

Автор: Денис Аветисян

Новый подход позволяет использовать мощные модели компьютерного зрения для обнаружения необычных объектов и ситуаций, не требуя предварительной подготовки на размеченных данных.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

Визуальные фундаменльные модели демонстрируют скрытый потенциал в обнаружении аномалий, который раскрывается благодаря преодолению ограничений, связанных с неоптимальными наборами данных для обучения и процедурами тонкой настройки, что позволяет им эффективно выявлять отклонения от нормы.

В статье представлена AnomalyVFM — платформа, преобразующая Vision Foundation Models в высокоэффективные детекторы аномалий с использованием синтетических данных и адаптации с минимальным количеством параметров.

Несмотря на успехи в области обнаружения аномалий, существующие подходы, использующие предварительно обученные модели компьютерного зрения, зачастую уступают решениям, основанным на моделях «зрение-язык». В данной работе, представленной под названием ‘AnomalyVFM — Transforming Vision Foundation Models into Zero-Shot Anomaly Detectors’, предлагается новый фреймворк, позволяющий эффективно трансформировать любые предварительно обученные модели компьютерного зрения в конкурентоспособные детекторы аномалий без необходимости обучения на размеченных данных. Ключевым нововведением является комбинация синтетической генерации данных и параметрически-эффективной адаптации моделей с использованием адаптеров признаков и взвешенной пиксельной функции потерь. Сможет ли предложенный подход AnomalyVFM открыть новые горизонты в области обнаружения аномалий и расширить возможности применения мощных моделей компьютерного зрения в различных задачах?

Невидимые Отклонения: Вызов Современных Систем

Традиционные методы обнаружения аномалий, как правило, опираются на размеченные данные, что представляет собой существенное ограничение в реальных сценариях. Суть проблемы заключается в том, что аномалии, по самой своей природе, редки и непредсказуемы, а значит, собрать достаточное количество размеченных примеров для их эффективного выявления крайне сложно. Это особенно актуально для сложных визуальных данных, где даже экспертам бывает трудно точно определить и классифицировать отклонения от нормы. Отсутствие достаточного количества размеченных данных приводит к тому, что алгоритмы либо не способны обнаружить новые, ранее не встречавшиеся аномалии, либо выдают большое количество ложных срабатываний, снижая надежность всей системы.

Ограниченность современных систем обнаружения аномалий, зависящих от предварительно размеченных данных, особенно проявляется при анализе сложных визуальных данных. Существующие алгоритмы, обученные на известных типах отклонений, демонстрируют снижение эффективности при столкновении с принципиально новыми, ранее не встречавшимися аномалиями. Это связано с тем, что они оперируют набором признаков, сформированным на основе известных образцов, и не способны адекватно реагировать на ситуации, выходящие за рамки этого набора. В результате, системы часто пропускают новые типы отклонений или, наоборот, выдают ложные срабатывания, интерпретируя незначительные вариации нормального поведения как аномальные. Таким образом, зависимость от априорных знаний становится серьезным препятствием для создания надежных систем обнаружения аномалий в динамичных и непредсказуемых средах.

Существующие методы обнаружения аномалий часто испытывают трудности с различением тонких различий между нормальными и аномальными экземплярами, что приводит к высокой частоте ложных срабатываний. Эта проблема особенно актуальна в сложных визуальных данных, где аномалии могут быть едва заметными отклонениями от типичных паттернов. По сути, алгоритмы, обученные на определенных представлениях «нормальности», склонны классифицировать незначительные вариации или шумы как аномалии, что снижает их практическую ценность. Для повышения точности необходимы подходы, способные учитывать контекст и сложность данных, а также более эффективно отфильтровывать незначительные отклонения, не являющиеся истинными аномалиями. Повышение устойчивости к шумам и улучшение способности к обобщению являются ключевыми направлениями в разработке более надежных систем обнаружения аномалий.

Сравнение качественных масок сегментации аномалий, полученных методом AnomalyVFM и двумя другими лучшими алгоритмами, демонстрирует, что AnomalyVFM обеспечивает сопоставимую или превосходящую точность по сравнению с эталонной маской.

AnomalyVFM: Рамка для Обнаружения Неизвестного

AnomalyVFM решает проблему обнаружения ранее невиданных аномалий за счет использования возможностей предварительно обученных Vision Foundation Models (VFM). Эти модели, обученные на обширных датасетах изображений, позволяют переносить знания, полученные в ходе обучения на больших объемах данных, непосредственно на задачу обнаружения аномалий. Такой подход позволяет эффективно идентифицировать отклонения от нормы, даже если конкретные типы аномалий или объекты не были представлены в обучающей выборке, что существенно расширяет возможности системы в реальных сценариях применения.

Ключевым нововведением AnomalyVFM является возможность обнаружения аномалий в режиме «zero-shot», то есть без предварительного обучения на конкретных классах объектов или типах аномалий. Это означает, что модель способна идентифицировать отклонения от нормы, не имея опыта распознавания этих отклонений в процессе обучения. Вместо этого, AnomalyVFM использует знания, полученные из предварительно обученных Vision Foundation Models (VFM) на обширных наборах данных, и переносит эти знания на задачу обнаружения аномалий, позволяя выявлять ранее неизвестные типы отклонений без необходимости сбора и разметки данных для каждого конкретного случая.

Процесс работы AnomalyVFM состоит из двух этапов. На первом этапе генерируется синтетический набор данных, предназначенный для адаптации Vision Foundation Model (VFM) к задаче обнаружения аномалий. На втором этапе происходит тонкая настройка VFM с использованием параметрически-эффективных LoRA (Low-Rank Adaptation) адаптеров. LoRA позволяет обучать лишь небольшое количество дополнительных параметров, что снижает вычислительные затраты и предотвращает переобучение, сохраняя при этом производительность VFM. Такой подход позволяет адаптировать модель к обнаружению аномалий без необходимости полной переподготовки всей сети.

Архитектура AnomalyVFM включает в себя дополнения к базовой VFM, выделенные синим цветом.

Синтез Данных для Устойчивости

В рамках предложенной системы генерации синтетических данных используется трехуровневый процесс, направленный на создание реалистичных и разнообразных обучающих выборок. Первый этап включает извлечение признаков с использованием модели DINOv2, что позволяет получить информативные представления об объектах. Второй этап подразумевает генерацию новых изображений посредством модели потокового соответствия FLUX. Наконец, третий этап обеспечивает фильтрацию и отбор наиболее качественных синтетических данных, что способствует повышению устойчивости модели к различным помехам и изменениям в данных. Такой многоступенчатый подход обеспечивает создание синтетических данных, максимально приближенных к реальным, и расширяет возможности обучения модели.

Процесс генерации синтетических изображений использует DINOv2 для извлечения признаков и FLUX — модель, основанную на методе flow matching. DINOv2 обеспечивает получение высокоуровневых представлений изображений, которые затем используются FLUX для генерации новых образцов. FLUX, в отличие от традиционных генеративных моделей, напрямую моделирует траектории преобразования данных, что позволяет создавать более реалистичные и разнообразные изображения с улучшенным качеством и детализацией. Комбинация этих двух моделей обеспечивает эффективное создание синтетических данных для повышения робастности системы.

В рамках предложенного подхода к генерации синтетических данных, для снижения влияния потенциального шума, вносимого процессом синтеза, используется функция потерь с весовыми коэффициентами, зависящими от уверенности модели. Данная функция позволяет приоритизировать обучение на примерах, в отношении которых модель демонстрирует более высокую уверенность в правильности предсказания, тем самым уменьшая негативное влияние зашумленных или нереалистичных синтетических данных на общую производительность системы. Весовые коэффициенты вычисляются на основе вероятностных оценок, предоставляемых моделью, и применяются к вкладу каждого синтетического примера в общую функцию потерь. Это обеспечивает более стабильное и эффективное обучение, особенно в условиях ограниченного объема реальных данных.

Процесс генерации набора данных включает создание изображения <span class="katex-eq" data-katex-display="false">I</span> по текстовому запросу, извлечение маски переднего плана <span class="katex-eq" data-katex-display="false">M_{fg}</span>, выбор аномальной области <span class="katex-eq" data-katex-display="false">R</span>, генерацию аномального изображения <span class="katex-eq" data-katex-display="false">I_{a}</span> путем восстановления этой области и, наконец, сравнение признаков из <span class="katex-eq" data-katex-display="false">I</span> и <span class="katex-eq" data-katex-display="false">I_{a}</span> для получения метки аномалии <span class="katex-eq" data-katex-display="false">M</span>. — Процесс генерации набора данных включает создание изображения $I$ по текстовому запросу, извлечение маски переднего плана $M_{fg}$ , выбор аномальной области $R$ , генерацию аномального изображения $I_{a}$ путем восстановления этой области и, наконец, сравнение признаков из $I$ и $I_{a}$ для получения метки аномалии $M$ .

Широкое Влияние и Приращение Производительности

Разработанная система AnomalyVFM демонстрирует передовые результаты в задачах обнаружения аномалий, превосходя существующие методы на различных эталонных тестах. В частности, зафиксировано улучшение показателя AUROC на уровне изображения на 3.3 процентных пункта и на уровне пикселя — на 0.9 процентных пункта. Данное достижение свидетельствует о значительном прогрессе в области автоматизированного анализа изображений и открывает новые возможности для повышения точности и эффективности систем контроля качества и диагностики в различных сферах, включая промышленность и медицину. Превосходство над предыдущими решениями подчеркивает инновационный подход, реализованный в AnomalyVFM, и его потенциал для дальнейшего развития в области компьютерного зрения.

Предложенная платформа AnomalyVFM демонстрирует значительный потенциал в различных областях применения. Помимо стандартных задач обнаружения аномалий, её архитектура успешно адаптируется для выявления дефектов в промышленном производстве, позволяя автоматизировать контроль качества и снижать издержки. Не менее перспективным является использование в медицинской диагностике, где система способна обнаруживать отклонения на рентгеновских снимках, томограммах и других медицинских изображениях, помогая врачам в постановке более точных диагнозов и повышая эффективность лечения. Универсальность подхода позволяет решать широкий спектр задач, где требуется выявление отклонений от нормы в визуальных данных, открывая новые возможности для автоматизации и улучшения качества принимаемых решений.

В ходе исследований, разработанная система AnomalyVFM продемонстрировала выдающиеся результаты в задачах обнаружения аномалий, достигнув показателя AUROC на уровне изображений в 94.1% и на уровне пикселей — 0.9. Эти значения значительно превосходят производительность традиционных моделей «Зрение-Язык», что подтверждает высокую эффективность предложенного подхода. Полученные результаты свидетельствуют о значительном прогрессе в области автоматизированного выявления отклонений, открывая перспективы для применения системы в различных сферах, где требуется точный и надежный анализ изображений.

Алгоритм AnomalyVFM успешно сегментирует аномалии на изображениях, как демонстрируют примеры масок, сопоставимые с эталонными масками, представленными на рисунке.

Представленная работа демонстрирует элегантность подхода к обнаружению аномалий, преобразуя существующие Vision Foundation Models без необходимости дорогостоящей переподготовки. Использование синтетических данных и параметрически-эффективной адаптации позволяет добиться конкурентоспособных результатов в условиях нулевого обучения. Этот метод, подобно тщательно продуманной архитектуре, позволяет моделям эффективно адаптироваться к новым задачам, не жертвуя при этом своей общей структурой и производительностью. Как однажды заметила Фэй-Фэй Ли: «Искусственный интеллект должен быть ориентирован на людей, а не наоборот». Этот принцип находит отражение в стремлении AnomalyVFM к созданию более гибких и доступных систем обнаружения аномалий, способных приносить пользу широкому кругу пользователей.

Куда Ведет Этот Путь?

Представленная работа, безусловно, демонстрирует элегантность подхода к обнаружению аномалий, заменяя сложные настройки и обучение с нуля изящным использованием уже существующих моделей. Однако, следует признать, что истинная красота часто скрывается в деталях. Генерация синтетических данных, хотя и эффективна, остается искусством, требующим тонкой настройки и глубокого понимания предметной области. Нельзя ли добиться большей универсальности, отказавшись от необходимости ручного проектирования этих данных?

Очевидным направлением дальнейших исследований представляется преодоление границ, установленных параметрически-эффективной адаптацией. Несмотря на свою эффективность, она все же вносит искажения в исходные представления модели. Стремление к “невидимой” адаптации, сохраняющей первозданную чистоту фундаментальных моделей, представляется более эстетически привлекательным. В конечном счете, задача заключается не в том, чтобы заставить модель «видеть» аномалии, а в том, чтобы она “чувствовала” их — изящно и ненавязчиво.

Истинный тест для AnomalyVFM — это выход за пределы лабораторных условий и столкновение с реальными, шумными данными. Только тогда станет ясно, насколько глубоко этот подход отражает фундаментальные принципы восприятия, а не просто ловко обходит технические ограничения. И, возможно, только тогда мы сможем говорить о действительно красивом решении.

Оригинал статьи: https://arxiv.org/pdf/2601.20524.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-04-10 12:00