Визуальное мышление: Новый подход к пониманию графических интерфейсов

от

Автор: Денис Аветисян

Исследователи разработали метод, позволяющий нейросетям более точно интерпретировать элементы управления на экранах, используя последовательный анализ и обратную связь.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"
В рамках предложенной схемы Chain-of-Ground (CoG) осуществляется последовательное, итеративное определение местоположения элементов интерфейса посредством многошагового анализа с использованием мультимодальных больших языковых моделей, где начальная координата, предсказанная первой моделью, уточняется в ходе двух последующих этапов, учитывающих обновлённый визуальный контекст и обеспечивающих точное, интерпретируемое и не требующее переобучения определение координат $ [x_3, y_3] $.
В рамках предложенной схемы Chain-of-Ground (CoG) осуществляется последовательное, итеративное определение местоположения элементов интерфейса посредством многошагового анализа с использованием мультимодальных больших языковых моделей, где начальная координата, предсказанная первой моделью, уточняется в ходе двух последующих этапов, учитывающих обновлённый визуальный контекст и обеспечивающих точное, интерпретируемое и не требующее переобучения определение координат $ [x_3, y_3] $.

Предложена методика Chain-of-Ground (CoG) для итеративного улучшения визуального сопоставления элементов интерфейса, демонстрирующая передовые результаты на бенчмарках и промышленных панелях управления.

Несмотря на значительный прогресс в области мультимодальных больших языковых моделей, точное сопоставление текстовых инструкций с элементами графического интерфейса остаётся сложной задачей, особенно при наличии визуально похожих объектов или неоднозначных макетов. В статье ‘Chain-of-Ground: Improving GUI Grounding via Iterative Reasoning and Reference Feedback’ предложен новый подход, Chain-of-Ground (CoG), использующий итеративное рассуждение и обратную связь для последовательного уточнения локализации элементов интерфейса. Эксперименты на бенчмарках, включая новый датасет промышленных панелей управления TPanel-UI, демонстрируют значительное повышение точности и устойчивости к визуальным искажениям. Возможно ли, используя подобные методы структурированного уточнения, раскрыть неиспользованный потенциал существующих моделей без дополнительного обучения и создать более надежные системы взаимодействия с интерфейсом?

Призрачная Надежда GUI Автоматизации

Традиционные методы автоматизации графического интерфейса пользователя (GUI) часто опираются на хрупкие эвристики и точное определение элементов интерфейса, что делает их крайне уязвимыми даже к незначительным визуальным изменениям. Например, небольшое изменение цвета кнопки или её положения может полностью вывести из строя автоматизированный скрипт, поскольку он больше не сможет правильно идентифицировать целевой элемент. Данный подход, основанный на жесткой привязке к конкретным пикселям или координатам, не позволяет системам адаптироваться к динамически меняющимся интерфейсам, что существенно ограничивает их применимость в реальных условиях, где внешний вид приложений часто обновляется или меняется в зависимости от платформы и настроек пользователя. В результате, автоматизация, основанная на подобных методах, требует постоянного обслуживания и адаптации, что делает её дорогостоящей и неэффективной.

Существующие методы автоматизации графических интерфейсов, основанные на последовательном уточнении области поиска (например, DiMo-GUI и Iterative Narrowing), зачастую сталкиваются с трудностями при работе со сложными, реальными интерфейсами. Эти подходы полагаются на постепенное сужение области, пока не будет идентифицирован целевой элемент, однако в условиях динамически меняющегося или перегруженного визуальной информацией интерфейса, процесс становится неэффективным и подвержен ошибкам. Отсутствие надежных механизмов рассуждения и адаптации к изменяющимся условиям приводит к тому, что даже незначительные вариации в дизайне или расположении элементов могут существенно снизить точность и надежность автоматизации. В результате, подобные методы часто оказываются неспособными эффективно работать с интерфейсами, которые отличаются высокой сложностью или непредсказуемостью.

Несмотря на впечатляющие возможности современных больших языковых моделей (LLM), их применение к задаче привязки к графическому интерфейсу пользователя (GUI grounding) сталкивается с существенными трудностями. LLM демонстрируют высокую эффективность в обработке естественного языка и генерации текста, однако им часто не хватает способности к итеративному рассуждению, необходимому для последовательного уточнения действий в динамичной среде GUI. В отличие от человеческого подхода, основанного на проверке гипотез и адаптации к ответам интерфейса, LLM склонны к одношаговым решениям, что приводит к ошибкам при взаимодействии со сложными или изменяющимися GUI. Неспособность к последовательному анализу и корректировке действий ограничивает их эффективность в автоматизации задач, требующих гибкости и адаптивности к визуальным изменениям или неожиданному поведению интерфейса.

Предложенный Multi-Step Chain-of-Grounding (CoG) подход, как в текстовом (c), так и в визуальном (d) вариантах, превосходит традиционные методы Single-Step (a) и Iterative Narrowing Grounding (b) за счёт последовательного уточнения на основе как текстовых, так и визуальных подсказок с сохранением доступа к полной картине.
Предложенный Multi-Step Chain-of-Grounding (CoG) подход, как в текстовом (c), так и в визуальном (d) вариантах, превосходит традиционные методы Single-Step (a) и Iterative Narrowing Grounding (b) за счёт последовательного уточнения на основе как текстовых, так и визуальных подсказок с сохранением доступа к полной картине.

Цепочка Рассуждений: Новый Взгляд на GUI Автоматизацию

Фреймворк Chain-of-Ground (CoG) представляет собой новый подход к определению местоположения элементов графического интерфейса (GUI), основанный на итеративном рассуждении. В отличие от методов прямой локализации, CoG последовательно уточняет свои предсказания на нескольких этапах, формируя цепочку логических выводов. Каждый последующий шаг использует результаты предыдущих предсказаний для повышения точности и надежности определения местоположения целевого элемента. Данный итеративный процесс позволяет CoG адаптироваться к сложным сценариям и уменьшить влияние неточностей, возникающих на начальных этапах работы.

В отличие от прямой локализации, CoG (Chain-of-Ground) использует итеративное уточнение предсказаний, формируя последовательность рассуждений для повышения надежности и точности. Вместо однократного определения местоположения объекта, CoG последовательно пересматривает свои предсказания, используя результаты предыдущих итераций в качестве входных данных для следующих. Такой подход позволяет модели корректировать ошибки и уточнять локализацию, что особенно полезно в сложных визуальных сценариях и при наличии неоднозначности. Построение “цепочки рассуждений” повышает устойчивость системы к шуму и вариациям в изображениях, обеспечивая более точные и надежные результаты локализации графических элементов.

В основе Chain-of-Ground (CoG) лежит интеграция с мощными мультимодальными языковыми моделями, такими как Qwen3-VL и UI-TARS-1.5-7B. Это позволяет CoG использовать их способности к контекстуальному пониманию для обработки визуальной информации и сопоставления ее с элементами графического интерфейса. Модели Qwen3-VL и UI-TARS-1.5-7B предоставляют CoG возможность эффективно интерпретировать взаимосвязи между визуальными элементами и текстовыми описаниями, что критически важно для точного определения местоположения элементов интерфейса и последовательного улучшения прогнозов в процессе итеративного рассуждения.

В основе фреймворка Chain-of-Ground (CoG) лежит механизм обратной связи на основе референсных данных, когда предыдущие предсказания модели используются в качестве входных данных для последующих итераций. Такой подход позволяет последовательно уточнять результаты и повышать точность локализации GUI-элементов. В ходе тестирования на бенчмарке ScreenSpot-Pro, CoG продемонстрировал передовую точность в 68.4%, превзойдя существующие аналоги и подтверждая эффективность итеративного подхода с использованием обратной связи.

Предложенный фреймворк Chain-of-Ground (CoG) значительно превосходит существующие модели GUI-grounding, достигая нового уровня производительности на бенчмарке ScreenSpot-Pro с улучшением до 4.8% по сравнению с предыдущим лидером GTA1-32B.
Предложенный фреймворк Chain-of-Ground (CoG) значительно превосходит существующие модели GUI-grounding, достигая нового уровня производительности на бенчмарке ScreenSpot-Pro с улучшением до 4.8% по сравнению с предыдущим лидером GTA1-32B.

Обратная Связь как Ключ к Устойчивости

Механизм CoG использует как текстовую, так и визуальную обратную связь для повышения точности предсказаний и исправления ошибок. Текстовая обратная связь предоставляет модели лингвистическую информацию о корректности или некорректности ее ответов, позволяя ей уточнять свои рассуждения. Визуальная обратная связь, в свою очередь, предоставляет контекст в виде изображений, что особенно важно для задач, требующих понимания визуальных данных. Комбинация этих двух типов обратной связи позволяет модели эффективно учиться на своих ошибках и улучшать производительность в различных сценариях.

Визуальная обратная связь в CoG реализуется путем отображения предыдущих предсказаний модели в виде маркеров непосредственно на интерфейсе. Эти маркеры служат визуальными ориентирами, позволяя модели учитывать свои предыдущие попытки и избегать повторения ошибок. Данный подход обеспечивает более эффективное обучение с подкреплением, поскольку модель получает наглядное представление о своих прошлых действиях и их последствиях, что способствует более точной корректировке стратегии предсказаний.

Эффективность разработанного фреймворка была подтверждена на сложных наборах данных, таких как ScreenSpot-Pro и TPanel-UI, что демонстрирует его надежность в реальных сценариях использования. В частности, при тестировании на TPanel-UI, комбинация моделей Qwen3-VL-235B и Qwen3-VL-32B достигла точности в 90.0%, что свидетельствует о высокой производительности системы в задачах, требующих визуального понимания и взаимодействия с пользовательским интерфейсом.

Фреймворк CoG успешно интегрирован с системами, такими как SeeClick, что подтверждает его применимость к разнообразным мультимодальным большим языковым моделям (LLM). Данная совместимость позволяет SeeClick использовать механизмы обратной связи CoG для улучшения точности и надежности предсказаний. Это демонстрирует, что CoG не ограничивается конкретной архитектурой LLM, а представляет собой универсальное решение для повышения эффективности взаимодействия человека и модели в задачах, требующих визуального и текстового ввода.

Использование разнообразных моделей на каждом этапе фреймворка CoG позволяет последовательно уточнять предсказания и значительно повышать точность финальной локализации, в отличие от применения одной и той же модели, приводящего к накоплению ошибок.
Использование разнообразных моделей на каждом этапе фреймворка CoG позволяет последовательно уточнять предсказания и значительно повышать точность финальной локализации, в отличие от применения одной и той же модели, приводящего к накоплению ошибок.

Синергия с Визуальными Подсказками и Перспективы Развития

Интеграция CoG с визуальными подсказками, такими как Set-of-Mark (SoM), значительно улучшает процесс “заземления” в системах, предназначенных для взаимодействия с графическим интерфейсом, включая WebVoyager, SeeAct и VisualWebArena. Данный подход позволяет CoG более точно интерпретировать визуальную информацию, представленную на экране, и соотносить ее с конкретными действиями. В результате, система демонстрирует повышенную надежность при выполнении сложных задач, требующих точной навигации и взаимодействия с элементами графического интерфейса, что открывает новые возможности для автоматизации и расширения функциональности подобных систем. По сути, CoG, используя визуальные подсказки, получает более четкое «понимание» происходящего на экране, что делает его действия более предсказуемыми и эффективными.

В сочетании итеративного рассуждения с визуальными подсказками, система CoG демонстрирует передовые результаты в решении сложных задач, связанных с графическими пользовательскими интерфейсами. Такой подход позволяет системе не только анализировать визуальную информацию, представленную на экране, но и последовательно уточнять свои действия, основываясь на полученных ответах и визуальном подтверждении. В отличие от традиционных методов, полагающихся на жестко заданные правила или статистические модели, CoG динамически адаптируется к изменяющимся условиям интерфейса, что значительно повышает надежность и эффективность автоматизации. В результате, система способна успешно справляться с широким спектром GUI-задач, требующих сложного планирования и точного взаимодействия с элементами интерфейса, превосходя существующие аналоги по показателям точности и скорости выполнения.

Перспективные исследования направлены на разработку адаптивных механизмов обратной связи, способных динамически корректировать процесс итеративного уточнения действий. В рамках данной работы планируется интеграция методов обучения с подкреплением, что позволит системе самостоятельно оптимизировать стратегию поиска решений и повысить эффективность выполнения сложных задач. Такой подход предполагает, что система будет не просто следовать заданному алгоритму, а учиться на собственном опыте, адаптируясь к изменяющимся условиям и максимизируя вероятность успешного завершения операции. Ожидается, что внедрение этих технологий значительно улучшит надежность и гибкость автоматизации графических интерфейсов, открывая новые возможности для применения в различных областях, включая промышленный контроль, обеспечение доступности и взаимодействие человека с компьютером.

Предлагаемый фреймворк обладает значительным потенциалом для создания более надежных и эффективных систем автоматизации графических интерфейсов в различных отраслях. В сфере промышленного управления это позволит повысить точность и скорость выполнения операций, снизить вероятность ошибок и оптимизировать производственные процессы. Для людей с ограниченными возможностями автоматизация интерфейсов может значительно упростить взаимодействие с компьютерами и цифровыми устройствами, обеспечивая более инклюзивный доступ к информации и технологиям. В области взаимодействия человека и компьютера, данная технология способна привести к созданию более интуитивно понятных и отзывчивых интерфейсов, улучшая пользовательский опыт и повышая продуктивность. Реализация подобных систем открывает новые возможности для автоматизации рутинных задач и высвобождения человеческого потенциала для более сложных и творческих видов деятельности.

Датасет TPanel-UI содержит изображения сенсорных и физических панелей управления в исходном виде и с различными визуальными искажениями, такими как размытие, блики и изменения освещения, для оценки устойчивости алгоритмов к сложным условиям.
Датасет TPanel-UI содержит изображения сенсорных и физических панелей управления в исходном виде и с различными визуальными искажениями, такими как размытие, блики и изменения освещения, для оценки устойчивости алгоритмов к сложным условиям.

Работа над улучшением визуального понимания интерфейсов, как описано в статье, вызывает лишь усталую иронию. Авторы предлагают Chain-of-Ground — итеративное уточнение предсказаний, используя обратную связь и различные модели. Звучит красиво, но, как показывает опыт, каждая новая «революционная» схема рано или поздно превратится в техдолг. Впрочем, стремление к уточнению предсказаний — это хоть какое-то движение вперёд. Как говорил Джон Маккарти: «Искусственный интеллект — это область компьютерных наук, занимающаяся созданием машин, способных выполнять задачи, которые обычно требуют человеческого интеллекта». И пока эти машины пытаются разобраться в очередном интерфейсе, можно с уверенностью сказать: всё новое — это просто старое с худшей документацией. Итеративный подход, описанный в статье, лишь подтверждает, что даже сложные системы рано или поздно нуждаются в постоянной «шлифовке».

Что дальше?

Представленный подход, безусловно, элегантен. Итеративное уточнение с обратной связью — концепция, которая когда-то реализовывалась парой bash-скриптов и регулярных выражений. Сейчас это, конечно, называется «Chain-of-Ground» и привлекает инвестиции. Однако, за красивыми графиками и state-of-the-art показателями скрывается неизбежный технический долг. Документация к новым моделям, как обычно, врёт, а датасет TPanel-UI — это лишь первый шаг к настоящей вариативности промышленных панелей управления. Неизбежно возникнут ситуации, когда предложенный фреймворк начнёт выдавать нелепые результаты на слегка изменённых интерфейсах.

Следующим этапом, вероятно, станет попытка автоматизировать процесс генерации «обратной связи». Кто-нибудь обязательно придумает «обучить» нейросеть критиковать саму себя, чтобы она «лучше понимала» интерфейсы. Это, конечно, увеличит сложность системы в геометрической прогрессии, но зато позволит писать более длинные статьи для конференций. И не стоит забывать о проблеме объяснимости: когда система начнёт ошибаться, выяснить, на каком именно этапе произошёл сбой, станет задачей нетривиальной.

В конечном счёте, всё это — попытка автоматизировать рутинную работу, которую раньше выполняли люди. И как показывает опыт, рано или поздно, найдётся способ сломать даже самую элегантную теорию, просто изменив цвет кнопки на панели управления. Это не плохо и не хорошо, это просто данность. И технический долг, как всегда, будет расти.

Оригинал статьи: https://arxiv.org/pdf/2512.01979.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-12-03 03:40