Визуальное программирование и искусственный интеллект: где кроется разрыв?

от

Автор: Денис Аветисян

Новое исследование демонстрирует, что даже для простых задач визуального программирования, таких как создание игр в Scratch, агентам с искусственным интеллектом сложно перевести логические рассуждения в реальные действия.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"
В рамках исследования взаимодействия агентов со средой Scratch, оценивался рабочий процесс отладки посредством задачи исправления некорректного управления веслом в Pong, где агенты могли использовать как примитивные операции через графический интерфейс (перетаскивание), так и композитные, посредством высокоуровневых API (удаление блоков), а проверка функциональной корректности осуществлялась с использованием Scratch VM.
В рамках исследования взаимодействия агентов со средой Scratch, оценивался рабочий процесс отладки посредством задачи исправления некорректного управления веслом в Pong, где агенты могли использовать как примитивные операции через графический интерфейс (перетаскивание), так и композитные, посредством высокоуровневых API (удаление блоков), а проверка функциональной корректности осуществлялась с использованием Scratch VM.

Представлен ScratchWorld — новый эталон для оценки GUI-агентов в среде блочного программирования Scratch, выявляющий значительный разрыв между логическим мышлением и надежным выполнением действий, таких как перетаскивание блоков.

Несмотря на растущую популярность визуального программирования, оценка возможностей ИИ-агентов в построении программ через графический интерфейс остается недостаточно изученной. В работе ‘See, Plan, Snap: Evaluating Multimodal GUI Agents in Scratch’ представлена новая платформа ScratchWorld — эталон для оценки мультимодальных агентов в среде Scratch, основанный на принципах обучения через создание, отладку, расширение и вычисления. Эксперименты выявили существенный разрыв между логическим планированием и способностью к точному выполнению действий, таких как перетаскивание блоков. Каковы перспективы преодоления этого разрыва и создания ИИ-агентов, эффективно взаимодействующих с визуальными средами программирования?

От барьеров к возможностям: Визуальное программирование для начинающих

Традиционное программирование, с его строгим синтаксисом и необходимостью запоминания сложных команд, зачастую представляет собой непреодолимый барьер для начинающих, особенно для детей. Освоение языков программирования, таких как C++ или Java, требует значительных усилий и времени, отвлекая от самого процесса творческого конструирования и решения задач. Эта сложность может подавить интерес к вычислительному творчеству на ранних этапах обучения, лишая многих возможности развить навыки логического мышления и алгоритмизации. Подобный крутой подъем в начале пути часто приводит к разочарованию и отказу от изучения программирования, что ограничивает потенциал будущих поколений в сфере информационных технологий и цифрового творчества.

Парадигма Low-Code, ярким примером которой служит среда Scratch, значительно упрощает доступ к миру программирования, устраняя необходимость в изучении сложного синтаксиса. Вместо написания кода, пользователи конструируют программы путем соединения визуальных блоков, что позволяет сосредоточиться на логике и творческом процессе. Такой подход, ориентированный на интуитивное понимание, способствует раннему вовлечению детей и начинающих в разработку, позволяя им быстро осваивать принципы алгоритмизации и воплощать собственные идеи в интерактивные проекты. Это, в свою очередь, стимулирует развитие навыков решения проблем, критического мышления и креативности, открывая широкие возможности для самовыражения и обучения через игру.

В отличие от традиционного программирования, где освоение синтаксиса зачастую становится непреодолимым препятствием, подход, основанный на визуальном конструировании программ из графических блоков, переносит акцент на логику и алгоритмическое мышление. Вместо запоминания сложных команд и символов, пользователь сосредотачивается на последовательности действий и взаимосвязи между ними. Такой метод позволяет создавать полноценные программы, манипулируя готовыми элементами, словно собирая конструктор, что значительно упрощает процесс обучения и делает программирование доступным для широкой аудитории, особенно для детей и начинающих. Благодаря этому, освоение вычислительного творчества становится интуитивно понятным и увлекательным, стимулируя развитие логического мышления и творческих способностей.

В ScratchWorld задачи разделены на четыре категории: создание интерактивных проектов с нуля, отладка существующих программ (например, исправление ошибок координат в контроллере), расширение функциональности (добавление аутентификации в схеме) и реализация вычислительных алгоритмов, таких как вычисление факториала.
В ScratchWorld задачи разделены на четыре категории: создание интерактивных проектов с нуля, отладка существующих программ (например, исправление ошибок координат в контроллере), расширение функциональности (добавление аутентификации в схеме) и реализация вычислительных алгоритмов, таких как вычисление факториала.

Эталонная среда ScratchWorld: Объективная оценка интеллектуальных агентов

Для объективной оценки возможностей агентов, взаимодействующих с визуальной средой программирования `Scratch`, была разработана эталонная платформа `ScratchWorld`. Данный бенчмарк представляет собой набор стандартизированных тестов и процедур, позволяющих количественно измерить производительность агентов в решении различных задач, представленных в формате проектов `Scratch`. `ScratchWorld` обеспечивает контролируемую среду выполнения программ, что позволяет исключить субъективные факторы при оценке и обеспечить воспроизводимость результатов. Платформа предназначена для автоматизированного тестирования и анализа, облегчая процесс разработки и совершенствования интеллектуальных агентов, способных к обучению и решению задач в визуальном программировании.

Для автоматизации выполнения и оценки программ во взаимодействии с `Scratch` используется технология `GUI Agent`. Данные агенты позволяют программно управлять интерфейсом `Scratch`, эмулируя действия пользователя, такие как перетаскивание блоков и запуск программ. Это обеспечивает возможность проведения большого количества тестов в автоматическом режиме, исключая субъективность оценки и позволяя точно измерить производительность агентов в различных сценариях. Технология `GUI Agent` является ключевым компонентом `ScratchWorld` и позволяет проводить объективную оценку возможностей разрабатываемых агентов в визуальной среде.

В рамках `ScratchWorld` функциональная верификация обеспечивает возможность точного тестирования корректности программ, в отличие от субъективных оценок. Традиционно оценка программ, создаваемых для визуальных сред, опиралась на визуальный анализ и экспертные суждения. Функциональная верификация в `ScratchWorld` автоматизирует процесс проверки, определяя, соответствует ли поведение программы заданным требованиям и спецификациям. Это достигается путем определения набора тестовых случаев и проверки, что программа правильно обрабатывает каждый из них, предоставляя объективные метрики для оценки качества и надежности программного кода, созданного агентами.

Оценка производительности `GUI Agent` выявила существенный разрыв между высокоуровневым планированием и точностью выполнения отдельных действий. Агенты демонстрируют 78.31% успешных попыток в режиме композитных действий (composite mode), когда задачи состоят из последовательности более крупных шагов. Однако, в режиме примитивных действий (primitive mode), требующем точного выполнения каждого элементарного действия, показатель успешности снижается до 14.46%. Данный результат указывает на сложность перехода от абстрактного планирования к детальному управлению интерфейсом и выполнению конкретных команд в среде `Scratch`.

В рамках Single-Step Drag Benchmark, точность локализации конечной точки, при наличии размеченных начальных позиций, варьируется от 23% до 32%. Данный показатель отражает способность агента точно определить целевое местоположение после выполнения единственного действия перетаскивания. Низкий процент точности указывает на существенные трудности в точной координации действий и учете визуальных особенностей среды `Scratch` при выполнении простых манипуляций. Результаты демонстрируют необходимость дальнейшей оптимизации алгоритмов для повышения надежности и аккуратности выполнения базовых операций.

Таблица демонстрирует репрезентативные примеры из статического бенчмарка Visual Perception QA, используемого для диагностики дефицитов восприятия, выявляя три типичные ошибки: неверное определение соединений между блоками, невозможность обнаружения скрытых или частично видимых блоков и ошибки при считывании значений в выпадающих меню и числовых полях, оцениваемые как с помощью проверки на эквивалентность, так и точного совпадения строк.
Таблица демонстрирует репрезентативные примеры из статического бенчмарка Visual Perception QA, используемого для диагностики дефицитов восприятия, выявляя три типичные ошибки: неверное определение соединений между блоками, невозможность обнаружения скрытых или частично видимых блоков и ошибки при считывании значений в выпадающих меню и числовых полях, оцениваемые как с помощью проверки на эквивалентность, так и точного совпадения строк.

Преодолевая разрыв между разумом и действием: Точность и абстракция в GUI взаимодействии

Проблема разрыва между рассуждениями и действиями (Reasoning-Acting Gap) заключается в сложности преобразования высокоуровневых планов агента в точные действия, локализованные в графическом интерфейсе пользователя (GUI). Эта сложность обусловлена необходимостью точного определения координат и выполнения действий в пространстве GUI, что требует от агента не только понимания намерения, но и способности к точной пространственной локализации и управлению элементами интерфейса. Неспособность эффективно преодолеть этот разрыв приводит к ошибкам при взаимодействии с GUI, даже если логическое планирование выполнено корректно.

Существуют два основных режима взаимодействия с графическим интерфейсом пользователя (GUI): «Примитивный режим» и «Композитный режим». В «Примитивном режиме» агент выполняет действия, оперируя непосредственно низкоуровневыми командами, такими как перемещение курсора и клики мышью. Этот подход требует высокой точности локализации конечных точек и детального планирования каждого шага. В отличие от него, «Композитный режим» позволяет агенту оперировать более сложными, абстрактными командами, представляющими собой последовательность примитивных действий. Это упрощает процесс планирования, но требует наличия механизма для трансляции абстрактных команд в конкретные действия GUI. Выбор между этими режимами зависит от сложности задачи и возможностей агента, при этом оба подхода направлены на преодоление разрыва между высокоуровневыми планами и точными действиями в GUI.

Точное определение координат конечных точек элементов графического интерфейса (endpoint localization) является критически важным для надежного управления ими, особенно в сложных сценариях взаимодействия. Неспособность агента корректно определить местоположение целевого элемента приводит к неточным действиям, таким как клики по неправильным объектам или перетаскивание в неверные области. В ситуациях с высокой плотностью элементов интерфейса или динамически меняющимся окружением, точность локализации конечных точек напрямую влияет на успешное выполнение задач, требующих высокой степени координации и аккуратности. Например, для операций, требующих взаимодействия с небольшими или скрытыми элементами, или для выполнения последовательности действий, требующих точного позиционирования, точность определения координат является определяющим фактором успеха.

Текстовые инструкции, используемые для управления графическим интерфейсом пользователя (GUI), часто сталкиваются с проблемами при реализации точного пространственного контроля. Несмотря на свою полезность в предоставлении общего направления действий, текстовые команды не всегда способны точно указать необходимые координаты или размеры для манипуляции элементами GUI. Например, инструкция «перетащить окно в верхний левый угол» требует от агента определения конкретных пиксельных координат этого угла, что может быть неявно указано в тексте и требовать дополнительных вычислений или визуального восприятия. Это несоответствие между текстовым описанием и требуемой пространственной точностью приводит к ошибкам и снижает надежность автоматизированного взаимодействия с GUI.

Современные агенты, такие как GPT-5, демонстрируют значительный прогресс в визуальном восприятии и взаимодействии с графическим интерфейсом пользователя (GUI). Согласно результатам тестирования, точность визуального восприятия составляет 90.5%, что свидетельствует о высокой способности агента к распознаванию элементов GUI. Однако, показатель успешного выполнения одношагового перетаскивания (Single-Step Drag Benchmark Pass@1) составляет лишь 23.33%. Данный результат указывает на сохраняющиеся трудности в преобразовании визуального понимания в точные, надежные действия в GUI, несмотря на достигнутый прогресс в области визуального восприятия.

Таблица демонстрирует 60 задач из эталонного теста Single-Step Drag, используемого для оценки точности операций перетаскивания, включающих как вертикальное соединение блоков (выравнивание соединительных точек), так и вставку блоков-репортеров/логических блоков в слоты других блоков.
Таблица демонстрирует 60 задач из эталонного теста Single-Step Drag, используемого для оценки точности операций перетаскивания, включающих как вертикальное соединение блоков (выравнивание соединительных точек), так и вставку блоков-репортеров/логических блоков в слоты других блоков.

Развитие творческого потенциала: Рамка для обучения и созидания

Рамка “Использование-Модификация-Создание” представляет собой структурированный подход к обучению, особенно эффективный в таких средах, как ScratchWorld. Она способствует развитию итеративного дизайна и навыков решения проблем, позволяя пользователям начинать с существующего проекта, адаптировать его под свои нужды и, наконец, создавать нечто совершенно новое. Такой подход позволяет избежать чувства подавленности от необходимости начинать с нуля, а также стимулирует эксперименты и поиск оптимальных решений. В процессе работы пользователи не просто осваивают технические навыки, но и учатся мыслить как дизайнеры и изобретатели, постоянно улучшая и дорабатывая свои проекты.

Данная структура обучения особенно эффективно дополняет визуальное программирование, способствуя развитию не только вычислительных навыков, но и креативности с инновационным мышлением. Вместо простого освоения синтаксиса и алгоритмов, пользователи получают возможность экспериментировать с готовыми блоками и проектами, модифицируя их и создавая совершенно новые решения. Такой подход стимулирует нестандартное мышление и поощряет поиск оригинальных путей решения задач, что значительно превосходит традиционные методы обучения программированию, ориентированные исключительно на техническую грамотность. В результате, визуальное программирование в сочетании с данной структурой позволяет раскрыть творческий потенциал пользователя и превратить процесс обучения в увлекательное исследование возможностей цифрового мира.

Данный подход, позволяющий пользователям развивать существующие проекты, способствует формированию чувства сопричастности и ответственности за результат. Вместо того, чтобы начинать с нуля, учащиеся получают возможность модифицировать и улучшать уже готовые решения, что значительно упрощает процесс обучения и стимулирует творческое мышление. Такая практика не только укрепляет уверенность в собственных силах, но и позволяет постепенно осваивать более сложные концепции и инструменты, создавая всё более изощрённые и функциональные проекты. В результате, пользователи ощущают себя не просто потребителями контента, а активными соавторами, способными воплощать собственные идеи и решать поставленные задачи с большей эффективностью.

Сочетание визуального программирования, автоматизированного тестирования и прогрессивных обучающих систем открывает двери к созданию цифрового контента для широкой аудитории. Ранее требующие специальных знаний и дорогостоящего оборудования, инструменты разработки становятся доступными даже тем, кто не обладает опытом в области информатики. Автоматизированное тестирование позволяет быстро выявлять и исправлять ошибки, упрощая процесс обучения и стимулируя эксперименты. Прогрессивные системы обучения, адаптирующиеся к уровню пользователя, обеспечивают индивидуальный подход и помогают освоить сложные концепции постепенно. В результате, творчество и инновации в цифровой сфере перестают быть привилегией немногих, становясь доступными для каждого, кто желает создавать и воплощать свои идеи.

Исследование, представленное в данной работе, демонстрирует существенный разрыв между логическим мышлением и практическим выполнением действий в среде Scratch. Авторы подчеркивают, что способность к рассуждению не всегда гарантирует успешное выполнение задач, таких как перетаскивание блоков. Этот феномен отзывается в словах Карла Фридриха Гаусса: «Трудно сказать, что является более трудным: найти что-то новое или понять то, что уже известно». Ведь даже обладая логическим пониманием задачи, агент сталкивается с трудностями в ее реализации, подобно тому, как сложно постичь уже известное, если отсутствует понимание контекста и деталей. Работа над ScratchWorld — это попытка преодолеть этот разрыв и создать системы, которые не просто рассуждают, но и действуют эффективно.

Куда Ведет Дорога?

Представленная работа, демонстрируя хрупкость автоматизированных агентов в, казалось бы, простой среде Scratch, лишь подчеркивает фундаментальную истину: каждая архитектура проживает свою жизнь. Стремление к синтезу программ, пусть даже в визуальной среде, неизбежно сталкивается с разрывом между логическим заключением и физическим действием. Разработка ScratchWorld — это не столько создание эталона, сколько фиксация момента, когда оптимизация одного аспекта системы выявляет слабость другого.

Попытки “залатать” этот разрыв путем добавления новых слоев абстракции или усложнения алгоритмов, вероятно, дадут лишь временное облегчение. Улучшения стареют быстрее, чем мы успеваем их понять. Более перспективным представляется смещение фокуса с точного воспроизведения действий на создание систем, способных адаптироваться к неточностям и ошибкам. В конечном счете, вопрос не в том, чтобы научить машину идеально выполнять задачи, а в том, чтобы она научилась достойно стареть в условиях неопределенности.

Дальнейшие исследования, вероятно, будут направлены на изучение более сложных сред и задач. Однако, важно помнить, что сложность — это не всегда прогресс. Иногда, в кажущейся простоте скрывается глубина, способная пролить свет на фундаментальные принципы функционирования любых систем.

Оригинал статьи: https://arxiv.org/pdf/2602.10814.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-02-12 23:35