Иллюзия сверхчувствительности: как легко обмануть современные системы анализа видео

от

Автор: Денис Аветисян

Новое исследование показывает, что текущие бенчмарки для оценки пространственного сверхчувствительного анализа видео (spatial supersensing) уязвимы для простых решений и эксплуатируют специфические особенности тестовых данных.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"
Оказывается, задача видео-поиска по запросу (VSR) решается даже без сложных механизмов пространственного сверх-восприятия, однако модель Cambrian-S, демонстрируя высокие результаты на бенчмарке VSC, на деле эксплуатирует специфические уязвимости данных - повторное воспроизведение одних и тех же видео приводит к обрушению её точности с 42% до 0%, указывая на зависимость от поверхностных признаков, а не от истинного понимания сцены.
Оказывается, задача видео-поиска по запросу (VSR) решается даже без сложных механизмов пространственного сверх-восприятия, однако модель Cambrian-S, демонстрируя высокие результаты на бенчмарке VSC, на деле эксплуатирует специфические уязвимости данных — повторное воспроизведение одних и тех же видео приводит к обрушению её точности с 42% до 0%, указывая на зависимость от поверхностных признаков, а не от истинного понимания сцены.

Оценка пространственного сверхчувствительного анализа видео (VSI-Super) требует более надежных метрик и действительно сложных тестовых сценариев.

Парадоксально, но современные подходы к пониманию видео, направленные на достижение «пространственного сверхчувствия», могут быть обманчиво простыми. В работе ‘Solving Spatial Supersensing Without Spatial Supersensing’ авторы критически анализируют существующие бенчмарки и методы, демонстрируя, что текущие оценки «пространственного сверхчувствия» часто достигаются за счет эксплуатации уязвимостей в тестовых данных, а не благодаря реальному моделированию мира. Полученные результаты показывают, что простые базовые модели способны достигать высокой точности, а незначительные изменения в данных приводят к резкому падению производительности сложных алгоритмов. Необходимы ли более надежные бенчмарки и принципиально новые подходы для оценки истинного прогресса в области понимания видео и пространственного мышления?

Пространственное мышление: вызов для искусственного интеллекта

Современные эталоны для оценки понимания видео, такие как VSI-Super, играют ключевую роль в определении истинной способности моделей к пространственному мышлению. В отличие от более простых тестов, которые могут быть пройдены за счет распознавания поверхностных закономерностей, VSI-Super требует от алгоритмов глубокого анализа сцены и понимания взаимосвязей между объектами. Это позволяет выявить, способна ли модель действительно «видеть» и понимать пространство, или же она просто запоминает определенные визуальные признаки. Таким образом, подобные эталоны становятся необходимым инструментом для развития искусственного интеллекта, способного к полноценному восприятию окружающего мира и решению сложных задач, требующих пространственного воображения.

Несмотря на кажущуюся надежность современных критериев оценки понимания видео, модели машинного обучения зачастую способны обходить их, используя упрощенные стратегии вместо формирования реального представления о происходящем. Вместо того чтобы действительно понимать пространственные отношения между объектами и их изменения во времени, некоторые алгоритмы обнаруживают поверхностные закономерности в данных, позволяющие успешно выполнять тесты без глубокого анализа сцены. Это проявляется в способности находить корреляции между визуальными признаками и ожидаемыми ответами, игнорируя при этом фундаментальные принципы физики и здравого смысла. Таким образом, высокие результаты в бенчмарках не всегда свидетельствуют о подлинном понимании видео, а скорее о способности модели находить и эксплуатировать слабые места в системе оценки.

Для успешной обработки сложных видеозаписей модели искусственного интеллекта должны демонстрировать способность к выполнению двух ключевых задач: VSC (подсчет уникальных объектов) и VSR (восстановление последовательности их появления). Эти способности требуют не просто распознавания отдельных объектов, но и формирования устойчивого представления об их взаимном расположении и изменениях во времени. Успешное выполнение VSC и VSR свидетельствует о развитом пространственном понимании, позволяющем модели не просто «видеть» объекты, а выстраивать целостную картину происходящего, учитывая их количество и порядок, что является важным шагом к созданию действительно интеллектуальных систем анализа видео.

Существенная сложность в понимании видео заключается не только в точном определении объектов, но и в поддержании связного представления об их взаимоотношениях во времени. Модели машинного зрения должны не просто распознавать предметы, но и отслеживать их перемещения, взаимодействия и изменения в контексте происходящего. Это требует от них способности к построению и обновлению внутреннего представления о пространственной структуре сцены, что является сложной задачей, особенно в динамичных и загроможденных средах. Потеря связи между объектами или неверная интерпретация их позиций может привести к полному искажению понимания происходящего, даже если отдельные объекты были идентифицированы правильно. Таким образом, успешное восприятие видео требует от моделей не только «видения», но и способности к построению и поддержанию пространственного «мышления» во времени.

Эксперименты показали, что модель Cambrian не демонстрирует истинного пространственного мышления, а полагается на специфические особенности VSC и просто подсчитывает объекты в новых комнатах как уникальные, что подтверждается падением точности и корреляцией между количеством повторений и предсказываемым числом объектов.
Эксперименты показали, что модель Cambrian не демонстрирует истинного пространственного мышления, а полагается на специфические особенности VSC и просто подсчитывает объекты в новых комнатах как уникальные, что подтверждается падением точности и корреляцией между количеством повторений и предсказываемым числом объектов.

Cambrian-S: Стремление к пространственному сверхчувствию

Методология Cambrian-S направлена на улучшение пространственного сверхчувствия — способности формировать согласованную модель мира на основе видеоданных. В основе подхода лежит построение внутренней репрезентации сцены, позволяющей системе не просто распознавать объекты, но и понимать их взаимосвязи и изменения во времени. Это достигается путем анализа последовательности кадров и выявления паттернов, которые позволяют предсказывать будущие состояния сцены. Ключевым аспектом является способность к построению долгосрочных пространственных рассуждений, что позволяет системе поддерживать консистентное представление об окружающей среде на протяжении длительных временных интервалов и эффективно реагировать на динамические изменения в ней.

В основе подхода Cambrian-S лежит метод сегментации на основе «удивления» (Surprise-Based Segmentation), который позволяет идентифицировать отдельные объекты в видеопотоке. Данный метод работает путем анализа ошибки предсказания модели — чем больше отклонение предсказанного кадра от фактического, тем выше значение «удивления». Внезапные и значительные изменения в этой ошибке сигнализируют о появлении нового или изменяющегося объекта, что позволяет системе эффективно выделять и отслеживать их в пространстве. По сути, система реагирует на неожиданные визуальные события, используя величину ошибки предсказания как индикатор уникальности объекта.

Методика Cambrian-S демонстрирует точность около 42% на исходном бенчмарке VSC (Video Scene Comprehension), однако при оценке на тесте VSC-Repeat наблюдается критический недостаток. Тест VSC-Repeat предназначен для оценки способности модели к долгосрочному пространственному рассуждению, используя повторные сцены с незначительными изменениями. Низкая производительность на VSC-Repeat указывает на ограниченные возможности Cambrian-S в поддержании согласованного понимания отношений между объектами в течение продолжительных временных интервалов, несмотря на удовлетворительные результаты на статичном бенчмарке VSC.

В основе подхода Cambrian-S лежит задача построения моделей, способных к долгосрочному пространственному рассуждению. Это предполагает поддержание согласованного представления об отношениях между объектами в видеопотоке на протяжении длительных промежутков времени. В отличие от систем, фокусирующихся на краткосрочном анализе, Cambrian-S стремится к формированию устойчивой модели мира, позволяющей отслеживать изменения в положении объектов и их взаимодействие друг с другом даже при длительных интервалах между наблюдениями. Такой подход критически важен для задач, требующих понимания динамики сцены и прогнозирования будущих событий, например, для автономной навигации или анализа поведения.

Повторное воспроизведение видео VSC позволяет выявить упрощенные подходы моделей к подсчету объектов, выявляя, используют ли они долгосрочное отслеживание или полагаются на простую сегментацию.
Повторное воспроизведение видео VSC позволяет выявить упрощенные подходы моделей к подсчету объектов, выявляя, используют ли они долгосрочное отслеживание или полагаются на простую сегментацию.

NoSense: Удивительно эффективный подход

Базовая модель NoSense ставит под сомнение необходимость пространственного сверхчувствительного восприятия (spatial supersensing) для решения задач видео-поиска по запросу (VSR). Традиционные подходы к VSR часто полагаются на сложные механизмы для обработки пространственных взаимосвязей между объектами и кадрами видео. NoSense демонстрирует, что значительные результаты могут быть достигнуты за счет независимой обработки каждого кадра, что указывает на возможность упрощения архитектур VSR без существенной потери производительности. Данный подход позволяет пересмотреть существующие предположения о критической роли пространственного сверхчувствительного восприятия в задачах видео-поиска.

В основе NoSense лежит использование простой модели «зрение-язык» SigLIP, обрабатывающей каждый кадр видео независимо. Такой подход, несмотря на свою кажущуюся простоту, позволяет достичь высокой точности в задачах VSR — около 98.3% на 10-минутном сегменте данных. Отсутствие необходимости в анализе пространственных взаимосвязей между кадрами демонстрирует, что для решения некоторых задач VSR не всегда требуется сложный анализ видеопоследовательности, и достаточно эффективной обработки отдельных кадров с применением модели SigLIP.

Модель NoSense демонстрирует высокую устойчивость к различной продолжительности видео в задачах VSR. Достигая примерно 95% точности как на 2-часовом, так и на 4-часовом разделении данных, NoSense подтверждает свою способность эффективно обрабатывать и анализировать видеопотоки различной длительности без необходимости в сложных механизмах пространственного сверхчувствительного восприятия. Данный результат указывает на то, что для решения задач VSR не всегда требуется учитывать временные зависимости между кадрами, и достаточно анализа отдельных кадров с использованием эффективных моделей, таких как SigLIP.

В основе NoSense лежит механизм поиска релевантной информации внутри каждого кадра видео посредством Query-Guided Retrieval. Этот подход позволяет модели извлекать необходимые данные из каждого кадра независимо, без использования пространственного суперсенсинга или анализа временных зависимостей. Запрос, формируемый на основе вопроса, используется для поиска наиболее подходящих фрагментов изображения в каждом кадре. Простота реализации данного метода подчеркивает, что для достижения высокой точности в задачах VSR не всегда требуются сложные архитектуры или алгоритмы анализа видеопоследовательностей.

Несмотря на отсутствие 3D-моделирования, отслеживания объектов и долгосрочного планирования, NoSense эффективно решает задачу VSR, используя лишь кодировщик изображений SigLIP и требуя значительно меньше памяти GPU по сравнению с существующими методами.
Несмотря на отсутствие 3D-моделирования, отслеживания объектов и долгосрочного планирования, NoSense эффективно решает задачу VSR, используя лишь кодировщик изображений SigLIP и требуя значительно меньше памяти GPU по сравнению с существующими методами.

Строгая оценка и перспективы развития

Метод VSC-Repeat представляет собой важную проверку достоверности при оценке моделей на наборе данных VSC. Исследование показало, что точность модели Cambrian-S резко падает до 0% после повторного предъявления одного и того же видео пять раз. Этот результат демонстрирует, что первоначальная высокая производительность Cambrian-S была обусловлена запоминанием конкретных экземпляров видео, а не способностью к реальному подсчету объектов и пространственному рассуждению. Таким образом, VSC-Repeat позволяет эффективно выявлять модели, полагающиеся на запоминание, а не на генерализацию, подчеркивая важность надежных методов оценки в области компьютерного зрения.

Метод VSC-Repeat, заключающийся в многократном просмотре одной и той же видеозаписи, оказался эффективным инструментом для выявления моделей, склонных к запоминанию конкретных экземпляров вместо реального подсчета объектов. Повторное предъявление видео позволяет отделить истинное понимание задачи от простого запоминания визуальных паттернов: модели, демонстрирующие высокую точность при первом просмотре, но теряющие ее при повторах, указывают на склонность к запоминанию. Это подчеркивает важность использования подобных проверок при оценке способностей моделей к пространственному мышлению и построению связных моделей мира, поскольку успешное решение задачи требует не просто распознавания объектов, а и способности обобщать знания и применять их в новых ситуациях.

Неожиданная эффективность модели NoSense, демонстрирующей приемлемые результаты на задачах подсчета объектов, подчеркивает критическую важность тщательной разработки и строгой оценки бенчмарков. Данный результат указывает на то, что существующие метрики могут быть недостаточно чувствительны к истинному пониманию сцены и склонны к завышению производительности моделей, полагающихся на поверхностные закономерности или артефакты данных. В связи с этим, необходимо уделять особое внимание созданию более надежных и репрезентативных тестовых наборов, способных выявлять реальные способности модели к пространственному рассуждению и построению последовательных моделей мира, а также применять разнообразные методы оценки, включающие проверку на устойчивость к незначительным изменениям в данных и способность к обобщению на новые, ранее не встречавшиеся сцены.

Будущие исследования должны быть направлены на создание более сложных эталонов и метрик оценки, способных достоверно проверить способность моделей к пространственному рассуждению на больших временных интервалах и построению связных моделей мира. Существующие подходы часто оказываются недостаточно чувствительными к тонкостям понимания динамичных сцен, позволяя моделям полагаться на поверхностные закономерности вместо глубокого анализа. Разработка таких эталонов потребует не только увеличения сложности визуальных сцен, но и внедрения сценариев, требующих от моделей экстраполяции, прогнозирования и адаптации к меняющимся условиям. Особое внимание следует уделить оценке способности моделей к построению причинно-следственных связей и пониманию физических свойств объектов, что позволит отличить истинное понимание от простого запоминания.

NoSense эффективно определяет объекты, кодируя кадры независимо и выбирая наиболее релевантные четыре, основываясь на косинусном сходстве с запросом и вспомогательными объектами, без анализа движения или временных зависимостей.
NoSense эффективно определяет объекты, кодируя кадры независимо и выбирая наиболее релевантные четыре, основываясь на косинусном сходстве с запросом и вспомогательными объектами, без анализа движения или временных зависимостей.

Исследование показывает, что существующие бенчмарки для пространственного сверхчувствительного восприятия видео (VSI-Super) уязвимы для простых решений и эксплуатации особенностей тестовых данных. Это напоминает алхимическую попытку превратить свинец в золото — кажется, что задача решена, но полученная медь лишь имитирует истинную ценность. Как заметил Джеффри Хинтон: «Мы формируем модели, которые работают до первого попадания в реальность». Действительно, простое достижение высоких результатов на бенчмарке не гарантирует надежное понимание видео и построение адекватных моделей мира, особенно при работе с долгосрочными видеопотоками. Необходимы более сложные и реалистичные критерии оценки, способные выявить истинный прогресс в области пространственного сверхчувствительного восприятия.

Что дальше?

Оказалось, что пространственное сверхчувствительное восприятие, столь эффектно демонстрируемое в текущих бенчмарках, напоминает фокусника — ловкость рук и ничего более. Предложенные методы, столь уверенно покоряющие VSI-Super, скорее используют лазейки в оценке, нежели действительно постигают суть долгосрочного понимания видео. Это не провал алгоритмов, а скорее зеркало, отражающее тщеславие тех, кто верит в абсолютную объективность цифр. Регрессия, как заклинание надежды, оказалась способна обмануть даже самых строгих судей, а p-value — всего лишь форма суеверия.

Поиск настоящих ориентиров в этой области требует отказа от иллюзий. Необходимо создавать бенчмарки, устойчивые к эксплуатации, сложные, не поддающиеся решению при помощи простых трюков. Моделирование мира, лежащее в основе долгосрочного понимания видео, должно быть не декларативным, а эмерджентным — возникающим из взаимодействия с хаосом реальных данных. Вместо погони за цифрами, следует искать способы заставить алгоритмы сомневаться, учиться на ошибках и признавать свою неполноту.

В конечном счете, задача не в том, чтобы «решить» пространственное сверхчувствительное восприятие, а в том, чтобы понять, что некоторые вопросы изначально сформулированы неверно. Данные не скажут всё — они скажут лишь то, что мы хотим услышать. Истинный прогресс лежит не в улучшении заклинаний, а в отказе от веры в магию.

Оригинал статьи: https://arxiv.org/pdf/2511.16655.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-11-24 00:48