Зрение робота: как сжать картинку, чтобы она не тормозила

Автор: Денис Аветисян

Новое исследование представляет набор данных и метрики для оценки эффективности алгоритмов сжатия изображений в системах искусственного интеллекта, работающих в условиях ограниченной пропускной способности.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

В рамках исследования, впервые применен алгоритм сжатия в контуре замкнутой обратной связи для оценки эффективности воплощенного искусственного интеллекта, при этом метрики, такие как процент успешных завершений и количество итераций, позволяют оценить накопление искажений, вызванных сжатием, в процессе работы.

Представлен набор данных EmbodiedComp и выявлен критический порог битрейта, за пределами которого производительность роботизированных визуальных систем резко падает.

Несмотря на успехи в области сжатия изображений, существующие подходы оказываются недостаточными для задач, связанных с функционированием воплощенного искусственного интеллекта (Embodied AI) в реальных условиях. В настоящей работе, посвященной теме ‘Embodied Image Compression’, предложен новый подход к сжатию визуальной информации, ориентированный на ограничения по пропускной способности, с которыми сталкиваются агенты, действующие в физическом мире. Разработанный набор данных и эталон EmbodiedComp продемонстрировали критический порог битрейта, ниже которого надежное выполнение даже простых манипуляций становится невозможным. Сможет ли эта работа стимулировать создание специализированных алгоритмов сжатия, адаптированных к потребностям воплощенного ИИ и ускорить его внедрение в реальные приложения?

Понимание Системы: Вызовы Сжатия для Воплощенного Искусственного Интеллекта

Развитие воплощенного искусственного интеллекта (Embodied AI), требующего обработки данных в режиме реального времени для восприятия и действий, демонстрирует экспоненциальный рост как в сложности алгоритмов, так и в масштабах практического применения. В отличие от традиционных систем ИИ, работающих с заранее подготовленными данными, воплощенный ИИ функционирует непосредственно во взаимодействии с физическим миром, что предъявляет уникальные требования к скорости обработки визуальной информации, тактильных ощущений и других сенсорных данных. Этот прогресс охватывает широкий спектр областей — от автономных роботов и беспилотных транспортных средств до интеллектуальных систем наблюдения и человекоподобных роботов-компаньонов, требующих мгновенной реакции на изменяющуюся обстановку. По мере усложнения задач, решаемых этими системами, и увеличения объемов обрабатываемых данных, возникает потребность в инновационных подходах к передаче и компрессии информации, способных обеспечить необходимую скорость и надежность работы.

Современные системы искусственного интеллекта, функционирующие в физическом мире, предъявляют всё более высокие требования к скорости обработки и передачи визуальной информации. Традиционные методы сжатия изображений и видео, разработанные для других целей, оказываются неспособны обеспечить необходимую пропускную способность и минимальную задержку, критичные для работы таких систем. Особенно заметно снижение производительности при снижении скорости передачи данных ниже 0.04 бит на пиксель, что приводит к искажению изображения и замедлению реакции системы. Данное ограничение связано с тем, что существующие алгоритмы не оптимизированы для работы в условиях ограниченных ресурсов и высокой динамичности, характерных для задач восприятия и управления в реальном времени, что создаёт серьезные препятствия для широкого внедрения интеллектуальных устройств в повседневную жизнь.

Формула Шеннона, фундаментальный принцип теории информации, определяет теоретический предел надежной передачи данных по зашумленному каналу связи. В контексте развития воплощенного искусственного интеллекта (Embodied AI), особенно в системах, основанных на Интернете вещей (IoT), эта формула приобретает особую значимость. Оптимальное сжатие данных становится критически важным, поскольку доступная полоса пропускания ограничена, а требования к задержке растут. Эффективные методы сжатия, способные обеспечить надежную передачу информации в диапазоне отношения сигнал/шум (SNR) от 15 до 30 дБ, необходимы для поддержания работоспособности и отзывчивости систем Embodied AI. В противном случае, даже незначительные искажения, вызванные шумом, могут привести к сбоям в восприятии и принятии решений, что особенно критично для робототехнических систем и автономных агентов, функционирующих в реальном времени. Таким образом, совершенствование алгоритмов сжатия данных является ключевым фактором для раскрытия полного потенциала воплощенного ИИ.

Перспективы развития воплощенного искусственного интеллекта (Embodied AI) напрямую зависят от преодоления существующих ограничений в области сжатия данных. Для создания действительно надежных и оперативных систем, способных к восприятию и действию в реальном времени, необходимо обеспечить эффективную передачу информации даже при ограниченной пропускной способности сети. Успешное решение этой задачи позволит воплощенному ИИ функционировать в сложных условиях, например, в сетях IoT с высоким уровнем помех, и откроет возможности для широкого спектра применений — от автономной робототехники до интеллектуальных систем наблюдения. Разработка инновационных методов сжатия, учитывающих специфику визуальной информации, критически важна для обеспечения стабильной работы и повышения отзывчивости воплощенного ИИ, определяя тем самым его будущее.

Сопоставление кривых скорости и производительности с результатами моделирования, учитывающими дополнительное время и ошибки выполнения, подтверждает адекватность подхода EmbodiedComp к реальным условиям.

Целенаправленное Сжатие для Реальных Систем

Встроенное сжатие изображений (Embodied Image Compression) разрабатывается с учетом специфических требований агентов искусственного интеллекта, функционирующих в динамичных средах. В отличие от традиционных методов сжатия, ориентированных на хранение и передачу данных для человека, данный подход оптимизируется для задач восприятия и обработки изображений непосредственно искусственным интеллектом. Это включает в себя приоритезацию сохранения информации, критически важной для принятия решений агентом, даже за счет некоторой потери визуального качества, некритичного для AI. Ключевым аспектом является минимизация задержек, связанных с декодированием, и снижение вычислительной нагрузки на бортовые системы агента, что обеспечивает более быстрое и эффективное взаимодействие с окружающей средой.

Стандарты сжатия видео VVC (Versatile Video Coding) и HEVC (High Efficiency Video Coding) являются общепринятыми базовыми решениями для сжатия видеоданных, однако их применение в задачах искусственного интеллекта требует оптимизации. В частности, стандартные алгоритмы кодирования не всегда эффективно справляются с особенностями данных, используемых в AI, такими как необходимость сохранения мелких деталей, важных для распознавания объектов, или приоритет скорости декодирования для работы в реальном времени. Для адаптации этих кодеков к задачам AI часто применяются модификации параметров квантования, адаптивные алгоритмы Rate-Distortion Optimization, и использование специализированных блоков кодирования, направленные на повышение эффективности сжатия при сохранении необходимого уровня качества для конкретных AI-приложений.

Для сжатия статических изображений, помимо общепринятых стандартов, применяются альтернативные методы, такие как WEBP, LichPCM, Bmshj, Cheng, Mbt, DCAE и RWKV. WEBP обеспечивает сжатие с потерями и без потерь, ориентированное на веб-приложения. LichPCM использует предсказательное кодирование для повышения эффективности. Bmshj, Cheng, Mbt и DCAE представляют собой различные подходы к квантованию и энтропийному кодированию. RWKV, изначально разработанный как архитектура рекуррентной нейронной сети, также может быть адаптирован для задач сжатия изображений, используя возможности машинного обучения для оптимизации процесса сжатия и восстановления изображения.

Эффективность методов сжатия изображений напрямую зависит от баланса между степенью сжатия, воспринимаемым качеством и вычислительной эффективностью. Достижение оптимального соотношения критически важно, поскольку снижение битрейта ниже 0.04 бит на пиксель ($bpp$) приводит к резкому ухудшению производительности и заметной потере качества изображения. Это явление, известное как “обрыв производительности”, требует тщательной настройки параметров сжатия и выбора подходящего метода для конкретной задачи, чтобы обеспечить приемлемый компромисс между размером файла, визуальным качеством и скоростью обработки.

Анализ показал, что сжатие приводит к ухудшению показателя SR для всех VLAs, при этом кодеки, основанные на обучении, демонстрируют лучшую точность по сравнению с пиксельными.

Оценка Воспринимаемого Качества: За Пределами PSNR

Традиционные метрики, такие как PSNR (Peak Signal-to-Noise Ratio), часто оказываются неэффективными в оценке воспринимаемого качества изображения человеком. PSNR измеряет разницу между исходным и сжатым изображением на основе среднеквадратичной ошибки пикселей, не учитывая особенности человеческого зрительного восприятия, такие как структурное сходство или чувствительность к определенным типам искажений. Это приводит к ситуации, когда изображения с высоким значением PSNR могут восприниматься как менее качественные, чем изображения с более низким значением, но большей визуальной привлекательностью. Неспособность PSNR коррелировать с субъективной оценкой качества изображения обусловлена его упрощенной моделью визуального восприятия, которая не учитывает сложные нейронные процессы, происходящие в зрительной системе человека.

В отличие от традиционных метрик, таких как PSNR, более современные показатели, включая SSIM (Structural Similarity Index), LPIPS (Learned Perceptual Image Patch Similarity), DISTS (DIfference ISTS), QualCLIP, DBCNN (Deep Convolutional Neural Network), CLIPIQA, HyperIQA и ManIQA, лучше отражают восприятие визуального сходства человеком. Эти метрики используют различные подходы, такие как анализ структурного сходства, обучение на данных о человеческом восприятии и применение глубоких нейронных сетей, для оценки различий между изображениями с учетом особенностей человеческой зрительной системы. В частности, SSIM оценивает изменения в яркости, контрастности и структуре, а LPIPS использует сверточные нейронные сети, обученные на задачах, связанных с человеческим восприятием, для вычисления расстояния между изображениями. Применение этих метрик позволяет более точно оценить качество изображения, особенно в задачах, где важна субъективная оценка визуального сходства.

Сегментационные модели, такие как SegFormer, Deeplabv3+, Swin, SETR и SegNext, позволяют проводить детальную оценку артефактов сжатия изображений не на всей картинке целиком, а в отдельных регионах. Эти модели, обученные на задачах семантической сегментации, способны выделять объекты и области на изображении, что позволяет изолировать и анализировать области, наиболее подверженные искажениям от сжатия. Например, можно выявить, что артефакты сжатия сильнее выражены в областях с высокой текстурой или тонкими деталями, что может негативно сказаться на производительности систем компьютерного зрения, работающих с этими изображениями. Использование сегментации позволяет получить более точную и локализованную оценку качества изображения по сравнению с глобальными метриками.

Комбинированное применение метрик оценки качества изображения, таких как SSIM, LPIPS и других, позволяет получить всестороннюю оценку влияния компрессии на производительность систем воплощенного искусственного интеллекта (Embodied AI). В частности, анализ изменений в метриках качества в сочетании с измерением снижения процента успешного выполнения задач (Success Rate, SR) позволяет точно определить уровни компрессии, при которых возникают существенные потери в производительности системы. Это критически важно для оптимизации баланса между пропускной способностью и качеством изображения в приложениях, где визуальное восприятие является ключевым компонентом принятия решений.

Анализ низкоуровневых признаков показал, что различия в изображениях обусловлены не содержанием сцены, а сжатием данных, а не самим контентом.

Влияние на Эффективные и Надежные Воплощенные Системы

Эффективное сжатие изображений оказывает непосредственное влияние на пропускную способность и задержку в системах воплощенного искусственного интеллекта (Embodied AI). Более компактное представление визуальной информации позволяет значительно снизить требования к сетевой инфраструктуре, что особенно важно для мобильных роботов и агентов, работающих в условиях ограниченной связи. Уменьшение задержки, возникающей при передаче и обработке изображений, критически важно для обеспечения оперативной реакции системы на изменяющуюся обстановку и принятия своевременных решений. В результате, оптимизация методов сжатия изображений не только снижает затраты на передачу данных, но и повышает общую производительность и надежность систем воплощенного ИИ, открывая возможности для их более широкого применения в различных сферах, включая автономную навигацию, робототехнику и взаимодействие с окружающей средой.

Оптимизация методов сжатия изображений открывает возможности для более сложной обработки визуальной информации в воплощенных системах искусственного интеллекта. Уменьшение размера данных позволяет агентам быстрее анализировать окружение и реагировать на изменения, что существенно повышает их отзывчивость и эффективность. Благодаря этому, системы способны функционировать в более широком диапазоне условий и выполнять более сложные задачи, не ограничиваясь доступными ресурсами. Повышенная скорость обработки и сниженные требования к пропускной способности позволяют воплощенным агентам действовать более автономно и эффективно в реальном времени, расширяя сферу их применения от робототехники до виртуальной и дополненной реальности.

Интеграция передовых методов сжатия изображений играет решающую роль в развертывании агентов искусственного интеллекта в условиях ограниченных ресурсов. Исследования показали, что производительность систем существенно снижается при уровне сжатия ниже 0.04 бит на пиксель ($bpp$), что можно назвать критической точкой снижения эффективности. Поддержание низкой разницы между распределениями реальных и сжатых изображений, измеряемой как расстояние Вассерштейна (D) для параметра «Количество шагов» менее 0.1, является ключевым для обеспечения адекватной работы агента. Это означает, что даже небольшая потеря информации при сжатии может привести к значительным ошибкам в восприятии и принятии решений, особенно в динамичных средах, требующих высокой точности и оперативности.

Дальнейшие исследования в области эффективного сжатия изображений для систем воплощенного искусственного интеллекта (Embodied AI) открывают возможности для существенного расширения сферы их применения. Углубленное изучение алгоритмов, позволяющих достигать оптимального баланса между степенью сжатия и сохранением качества изображения, позволит создавать более автономных и эффективных агентов, способных функционировать в условиях ограниченных ресурсов. Особенно перспективным представляется поиск решений, гарантирующих стабильную производительность даже при крайне низких битрейтах, что критически важно для развертывания систем в реальном времени и в удаленных локациях. Разработка и внедрение инновационных методов сжатия, учитывающих специфику визуальной информации, обрабатываемой системами Embodied AI, не только снизит требования к пропускной способности и задержкам, но и позволит повысить точность и надежность принятия решений этими агентами, приближая их к реализации полного потенциала.

Результаты валидации показывают, что разработанный подход успешно обобщается на новые объекты (o1-o6), не входящие в обучающую выборку EmbodiedComp, демонстрируя производительность, сопоставимую с базовыми SR и Steps.

Исследование, представленное в данной работе, подтверждает важность понимания закономерностей в системах, работающих с ограниченными ресурсами. Авторы предлагают новый набор данных и метрики для оценки алгоритмов сжатия изображений, ориентированных на воплощенный искусственный интеллект. Этот подход позволяет выявить критический порог битрейта, после которого производительность системы резко падает. Как заметил Дэвид Марр: «Визуальное восприятие — это не пассивное получение данных, а активный процесс построения моделей мира». Подобно тому, как мозг конструирует репрезентации, алгоритмы сжатия должны оптимизировать данные, сохраняя при этом информацию, необходимую для эффективного функционирования воплощенной системы.

Куда двигаться дальше?

Представленная работа выявила критическую зависимость эффективности систем воплощенного искусственного интеллекта от пропускной способности каналов передачи данных. Закономерно возникает вопрос: достаточно ли просто оптимизировать алгоритмы сжатия изображений, или же необходимо переосмыслить саму парадигму визуального восприятия для роботов? Поиск компромисса между детализацией изображения и вычислительными затратами представляется нетривиальной задачей, особенно учитывая, что “достаточная” детализация — величина контекстуальная и зависит от конкретной задачи.

Созданный датасет, EmbodiedComp, открывает возможности для более строгой валидации алгоритмов сжатия в условиях, приближенных к реальности. Однако, представляется важным расширить его, включив в него данные, полученные от различных сенсоров (глубина, инфракрасное излучение и т.д.), чтобы оценить эффективность мультимодального сжатия. По сути, необходимо исследовать, как различные типы информации могут дополнять друг друга, позволяя снизить требования к пропускной способности, не жертвуя при этом производительностью.

В конечном счете, исследование закономерностей, связывающих характеристики изображения, алгоритмы сжатия и поведение робота в реальном мире, представляется перспективным направлением. Возможно, истинный прогресс заключается не в создании “идеального” алгоритма сжатия, а в разработке новых подходов к визуальному восприятию, позволяющих роботу “видеть” мир более эффективно, используя минимальное количество информации. Иронично, но иногда меньше — значит больше.

Оригинал статьи: https://arxiv.org/pdf/2512.11612.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-12-15 17:01