Роботы, которые понимают, *что можно сделать* с предметами

Автор: Денис Аветисян

Новая система CRAFT-E позволяет роботам ориентироваться в мире, определяя объекты не по их названию, а по возможности их использования.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

Предложенная схема CRAFT-E, получив на вход сцену и глагольный запрос (например, «писать»), предсказывает области захвата, генерирует подграфы, ориентированные на возможности действия, с использованием больших языковых моделей и базы знаний, а также сопоставляет глагольный запрос с функционально подходящим объектом посредством сопоставления на основе CLIP, причём выбранный объект может быть дополнительно передан модулю роботизированного привода для физического извлечения или доставки.

Представлен нейро-символический фреймворк для обучения роботов манипулированию, основанный на восприятии, рассуждениях и здравом смысле.

Несмотря на значительный прогресс в области робототехники, надежное понимание роботом не только что представляет собой объект, но и для чего он может быть использован, остается сложной задачей. В данной работе представлена система CRAFT-E: A Neuro-Symbolic Framework for Embodied Affordance Grounding, модульная нейро-символическая архитектура, объединяющая визуальное восприятие, знания о мире и возможности манипулирования. Предложенный подход позволяет роботам обоснованно выбирать объекты, основываясь на их функциональном назначении, и предоставляет прозрачный механизм принятия решений. Может ли подобное сочетание символьного рассуждения и воплощенного восприятия стать ключом к созданию более надежных и понятных роботизированных помощников?

Преходящая природа категорий: необходимость рассуждений вне рамок

Традиционные роботизированные системы, как правило, оперируют с жестко заданным набором категорий объектов, что существенно ограничивает их способность адаптироваться к новым, непредсказуемым условиям и предметам. Этот подход, хотя и эффективен в структурированных средах, оказывается непрактичным в реальном мире, где роботы неизбежно сталкиваются с незнакомыми объектами и ситуациями. Ограниченность предопределенных категорий приводит к тому, что робот не способен распознать или правильно взаимодействовать с предметами, не включенными в его базу данных, что серьезно препятствует эффективной работе в динамичных и неструктурированных окружениях. Необходимость преодолеть эти ограничения становится особенно очевидной при разработке роботов-помощников, предназначенных для работы в сложных, постоянно меняющихся условиях, где требуется гибкость и способность к обобщению.

Ограничения, связанные с заранее заданными категориями объектов, существенно затрудняют эффективное взаимодействие роботов в реальных, открытых средах. Когда робот сталкивается с непредвиденными ситуациями и объектами, не включенными в его обучающую выборку, его способность к обобщению резко снижается. Это приводит к ошибкам в понимании контекста и, как следствие, к неспособности корректно выполнять поставленные задачи. В таких сценариях робот, обученный распознавать только определенный набор объектов, может оказаться беспомощным перед новым предметом или неверно интерпретировать его назначение, что делает его неэффективным помощником в динамичных и непредсказуемых условиях.

Для эффективной помощи в сложных и динамичных средах роботам необходима способность рассуждать об объектах и действиях, не ограничиваясь заранее заданными категориями. Традиционные системы часто сталкиваются с трудностями при взаимодействии с новыми предметами или ситуациями, поскольку их возможности основаны на четком определении известных категорий. Открытая лексическая логика представляет собой подход, направленный на преодоление этих ограничений, позволяя роботам понимать и действовать в условиях неопределенности и новизны. Это достигается за счет способности робота формировать абстрактные представления об объектах и действиях, а не просто сопоставлять их с предопределенными ярлыками, что значительно расширяет возможности адаптации и обобщения в реальном мире.

Современные подходы к обучению роботов часто сталкиваются с проблемой семантической неоднозначности, когда один и тот же объект или действие может быть интерпретировано несколькими способами. Это приводит к неверным прогнозам о потенциальных способах взаимодействия объекта — так называемым аффордансам. Например, робот, увидев кусок дерева, может ошибочно предположить, что его можно только поднять, игнорируя возможность использования в качестве опоры или инструмента. Такая неспособность к различению нюансов и контекста приводит к неэффективности в реальных, динамичных средах, где требуется гибкость и адаптация к непредвиденным ситуациям. Преодоление этой проблемы является ключевым шагом к созданию действительно интеллектуальных и полезных роботов.

В отличие от ConceptNet, использующего общие связи, наша база знаний, полученная с помощью LLM, выстраивает связи между глаголами и объектами на основе интерпретируемых свойств, что обеспечивает композиционную обобщенность и семантическую точность. — В отличие от ConceptNet, использующего общие связи, наша база знаний, полученная с помощью LLM, выстраивает связи между глагобами и объектами на основе интерпретируемых свойств, что обеспечивает композиционную обобщенность и семантическую точность.

Большие языковые модели как двигатели знаний: обоснование аффордансов в языке

Большие языковые модели (LLM) представляют собой перспективный подход к преодолению ограничений, связанных с предопределенными категориями знаний. Традиционные базы знаний часто структурированы иерархически, что затрудняет представление сложных взаимосвязей и новых понятий. LLM, напротив, способны генерировать базы знаний, ориентированные на аффордансы — возможности взаимодействия объекта с окружающей средой. Этот подход позволяет динамически создавать и расширять знания, не ограничиваясь жесткими категориями, и обеспечивать более гибкое и контекстно-зависимое представление информации. Генерация аффорданс-ориентированных баз знаний осуществляется путем анализа больших объемов текстовых данных, выявления связей между объектами и глаголами, описывающими действия, которые с ними возможны.

Большие языковые модели (LLM) способны устанавливать связи между глаголами и объектами, формируя реляционное понимание возможных действий с данными объектами и поддерживая функциональные аффордансы. В отличие от традиционных подходов, LLM не просто идентифицируют объекты и их атрибуты, а динамически определяют, какие действия могут быть выполнены с этими объектами, исходя из лингвистического контекста. Например, модель может установить связь между глаголом «резать» и объектом «нож», а также «яблоко», подразумевая возможность выполнения действия «резать яблоко ножом». Эта способность к установлению функциональных ассоциаций позволяет LLM эффективно моделировать взаимодействия между агентом и окружающей средой, что является ключевым для задач, связанных с планированием действий и пониманием намерений.

Одной из ключевых проблем при использовании больших языковых моделей (LLM) в качестве движков знаний является сопоставление лингвистической информации с визуальным миром. Для реализации этой задачи требуется надежное восприятие изображений и их точная привязка к текстовым описаниям. Это подразумевает не просто распознавание объектов на изображении, но и понимание их функциональных возможностей и связей с глаголами, описывающими действия, которые с ними можно совершить. Достижение корректной привязки требует решения сложных задач компьютерного зрения, включая сегментацию изображений, обнаружение объектов и установление семантических соответствий между визуальными и языковыми представлениями.

В отличие от более ранних баз знаний, таких как ConceptNet, современные большие языковые модели (LLM) демонстрируют превосходящую способность к формированию нюансированных и релевантных функциональных ассоциаций. ConceptNet, опираясь на ручное создание и структурирование связей, часто предоставляет обобщенные или неполные описания возможностей использования объектов. LLM, обученные на масштабных текстовых корпусах, способны генерировать более контекстуально-зависимые и точные связи между глаголами и объектами, учитывая различные сценарии использования и предоставляя более детальную информацию о функциональных свойствах. Это достигается благодаря способности LLM улавливать тонкие семантические различия и учитывать вероятностное распределение различных действий, связанных с определенным объектом.

Модульный конвейер CRAFT-E успешно выполняет запросы, связанные с глаголами «писать», «поднимать» и «строить», однако в случаях неудачного захвата или неверной функциональной идентификации объектов возникают ошибки в определении и захвате целевого предмета.

CRAFT-E: Нейро-символический каркас для надежного обоснования аффордансов

Фреймворк CRAFT-E объединяет большие языковые модели (LLM), визуальные языковые модели (VLM) и алгоритмы планирования захвата для обеспечения надежного и интерпретируемого выбора объектов, ориентированного на их функциональное назначение. Интеграция LLM позволяет понимать запросы, описывающие желаемое действие, в то время как VLM, такие как CLIP, обеспечивают связь между текстовым описанием действия и визуальными областями изображения, идентифицируя потенциальные объекты. Алгоритмы планирования захвата, включая GraspNet и KpNet, оценивают физическую возможность манипулирования отобранными объектами роботом, что критически важно для успешного выполнения действия. Такая комбинированная архитектура позволяет CRAFT-E не только выбирать объекты, соответствующие запросу, но и гарантировать их физическую доступность для манипуляций.

Для визуального выравнивания CRAFT-E использует модель CLIP (Contrastive Language-Image Pre-training). CLIP сопоставляет текстовые запросы, выраженные в виде глаголов, описывающих желаемое действие (например, «открыть», «захватить»), с областями изображения. Это сопоставление позволяет идентифицировать потенциальные объекты, которые могут быть использованы для выполнения данного действия, устанавливая связь между семантическим значением глагола и визуальными признаками объектов на изображении. Фактически, CLIP выполняет поиск визуальных соответствий для текстовых запросов, определяя, какие объекты на изображении могут «аффордировать» (обеспечивать возможность) выполнение запрошенного действия.

Для оценки возможности захвата объектов и обеспечения их физической манипулируемости роботом, в CRAFT-E интегрированы модели GraspNet и KpNet. GraspNet предоставляет данные о возможных точках захвата для различных 3D-моделей объектов, определяя, какие захваты являются стабильными и успешными. KpNet, в свою очередь, предсказывает ключевые точки (keypoints) на объекте, необходимые для планирования траектории захвата и манипуляции. Комбинация этих моделей позволяет системе отфильтровывать объекты, которые, хотя и визуально подходят для определенного действия, не могут быть надежно захвачены и перемещены роботом, повышая общую надежность и эффективность процесса выбора объектов.

Для уточнения выбора объектов, система CRAFT-E использует минимизацию энергии, учитывающую как возможность захвата объекта манипулятором, так и его функциональную пригодность для выполнения целевого действия. Этот процесс включает в себя формирование энергетической функции, в которой каждый объект оценивается по двум основным критериям: вероятности успешного захвата, определяемой моделями GraspNet и KpNet, и степени соответствия объекта предполагаемой функции, выведенной из языкового запроса. Минимизация этой функции позволяет отобрать объекты, которые не только физически доступны для манипуляций, но и логически соответствуют поставленной задаче, обеспечивая тем самым надежное обоснование соответствия между объектом и его потенциальным использованием — “grounding” аффорданса.

Валидация и практическое применение: от симуляций к роботизированному исполнению

В рамках тщательной оценки эффективности, разработанная система CRAFT-E подверглась проверке на статичном наборе данных, включающем загроможденные сцены с предметами на столе. Данный набор данных позволил всесторонне оценить точность определения возможностей использования объектов, демонстрируя передовые результаты в области «заземления» (grounding) аффордансов. Система успешно идентифицировала, какие действия возможны с каждым объектом в конкретной обстановке, превосходя существующие аналоги в способности к точному и надежному определению функциональных возможностей предметов в сложных, реалистичных условиях. Такой подход к оценке гарантирует не только высокую производительность в лабораторных условиях, но и потенциальную применимость системы в реальных сценариях взаимодействия с окружающим миром.

Для подтверждения эффективности разработанной системы, проводилась её апробация в реальных условиях с использованием роботизированной платформы. Это позволило продемонстрировать способность системы успешно выполнять задачи в динамичных и неструктурированных средах, где объекты могут быть расположены хаотично и подвержены изменениям. Такой подход к валидации, выходящий за рамки симуляций, является критически важным для оценки практической применимости и надежности системы в реальном мире, а также для выявления потенциальных проблем, которые могут возникнуть при взаимодействии с физической реальностью. Полученные результаты подтверждают, что система способна адаптироваться к непредсказуемости окружающей среды и выполнять поставленные задачи с высокой точностью и эффективностью.

Ключевую роль в работе системы CRAFT-E играет сегментация объектов, осуществляемая с помощью модели SAMv2. Эта технология позволяет точно выделять отдельные предметы в визуальной сцене, что значительно повышает достоверность предсказаний об их функциональных возможностях. Выделение границ объектов обеспечивает более точное понимание их формы и размеров, что, в свою очередь, необходимо для определения возможных действий, которые робот может с ними совершить. Благодаря SAMv2, система способна надежно идентифицировать объекты даже в сложных и загроможденных сценах, что критически важно для успешного выполнения задач в реальных условиях и является основой для повышения общей эффективности роботизированных систем.

В отличие от подходов, основанных исключительно на анализе больших данных, разработанная система объединяет нейро-символические рассуждения, что значительно повышает ее надежность и позволяет лучше понимать логику принимаемых решений. Такой гибридный подход позволяет не просто предсказывать действия, но и объяснять, почему было принято именно такое решение, что особенно важно в сложных и динамичных ситуациях. В то время как чисто статистические модели могут выдавать точные прогнозы, они часто не способны предоставить ясного обоснования, в то время как нейро-символическая архитектура обеспечивает прозрачность и возможность проверки каждого шага рассуждений, что критически важно для внедрения в реальные системы, требующие высокой степени доверия и безопасности.

В ходе практических испытаний с использованием робототехнической платформы и набора данных GraspNet, разработанная система CRAFT-E продемонстрировала впечатляющую эффективность захвата объектов, достигнув 46.67% успешных попыток. Этот результат превосходит показатели других передовых моделей, таких как Gemini (44.44%) и GPT-4o (46.11%), что подтверждает способность системы эффективно функционировать в реальных, неструктурированных условиях.

В ходе тестирования на функциональном бенчмарке, система CRAFT-E продемонстрировала впечатляющую точность в 48.30% при определении функционального назначения объектов, превзойдя показатели модели GPT-4o, достигшей 45.30%. Данный результат указывает на более эффективное понимание системой взаимосвязи между визуальными характеристиками объектов и их потенциальными функциями, что является ключевым аспектом для успешного взаимодействия робота с окружающим миром.

В ходе оценки производительности, разработанная система CRAFT-E продемонстрировала выдающиеся результаты в задачах функционального обоснования. В частности, значение Mean Reciprocal Rank (MRR) составило 59.40, а Normalized Discounted Cumulative Gain (NDCG) достигло 63.60. Эти показатели являются наивысшими среди всех протестированных моделей, ориентированных на обоснование действий в реальном мире. Полученные данные свидетельствуют о превосходстве CRAFT-E в ранжировании наиболее релевантных действий и обеспечении точного и надежного функционального понимания окружающей среды, что делает её перспективным решением для задач робототехники и искусственного интеллекта.

Представленная работа демонстрирует стремление к созданию систем, способных к адаптации и осмысленному взаимодействию с окружающим миром. Разработка CRAFT-E, объединяющая нейро-символические подходы, акцентирует внимание на функциональности объектов, а не на их простой идентификации. Это особенно важно, поскольку, как однажды заметил Дональд Дэвис: «Системы, которые не стареют, — это не системы вовсе». Подобный подход к робототехнике, где приоритет отдается пониманию возможностей объектов, а не только их сущности, позволяет создавать более надежные и интерпретируемые взаимодействия, что является залогом долговечности и адаптивности любой системы в постоянно меняющейся среде. Развитие подобных фреймворков, способных к рефакторингу и диалогу с прошлым опытом, необходимо для создания действительно интеллектуальных машин.

Что дальше?

Представленная работа, безусловно, является шагом к более зрелой системе взаимодействия робота с миром. Однако, не стоит обольщаться иллюзией полного понимания. Замена простого распознавания “что это” на определение “что с этим можно делать” — это не столько решение проблемы, сколько её переформулировка. Ведь аффордансы — это не застывшие свойства, а динамичные возможности, зависящие от контекста, намерения и, что самое главное, от ошибок. Любая система, взаимодействующая с миром, неизбежно сталкивается с несоответствиями между ожиданиями и реальностью. Именно эти инциденты и определяют её способность к адаптации и, следовательно, к долговечности.

Будущие исследования, вероятно, должны сосредоточиться не столько на совершенствовании алгоритмов распознавания аффордансов, сколько на разработке механизмов для извлечения уроков из неудач. Необходимо создавать системы, способные не просто корректировать свои действия, но и пересматривать базовые представления о мире. Более того, акцент следует сместить с поиска «правильных» ответов на понимание того, как система обосновывает свои действия, даже ошибочные.

В конечном счете, задача состоит не в создании робота, который никогда не ошибается, а в создании системы, которая достойно стареет, извлекая пользу из каждого несовершенства. Время — не метрика оценки эффективности, а среда, в которой любая система вынуждена учиться, приспосабливаться и, в конечном итоге, определяться.

Оригинал статьи: https://arxiv.org/pdf/2512.04231.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-12-06 02:20