Роботы, которые помнят: новый взгляд на манипуляции с объектами

Автор: Денис Аветисян

Исследователи предлагают новый подход к управлению роботами, позволяющий им сохранять информацию об объектах и использовать её для более эффективного выполнения задач.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"

Роботизированные манипуляции, представленные в исследовании, демонстрируют необходимость сохранения информации о предыдущих действиях и состоянии объектов – за пределами возможностей чисто марковских или полностью наблюдаемых стратегий – для успешного выполнения задач, требующих отслеживания количества манипуляций с объектами, порядка их взаимодействий и идентификации скрытых целей на основе памяти о предыдущем размещении, что указывает на критическую роль устойчивой, объектно-специфической памяти для рассуждений как в краткосрочной, так и в долгосрочной перспективе, даже при визуально схожих входных данных.

В статье представлен LIBERO-Mem, новый бенчмарк для оценки памяти роботов, и разработан фреймворк Embodied-SlotSSM, использующий слоты для представления состояний и улучшения работы в сложных, частично наблюдаемых средах.

В условиях возрастающей сложности окружающей среды для воплощенных агентов, способность к отслеживанию и логическому осмыслению индивидуальных объектов во времени становится критически важной. В своей работе ‘Rethinking Progression of Memory State in Robotic Manipulation: An Object-Centric Perspective’, авторы исследуют проблему немарковских процессов в манипуляциях роботов, где ключевые сигналы для принятия решений скрыты в истории взаимодействия с объектами. Предлагаемый фреймворк Embodied-SlotSSM, использующий слоты и модели пространства состояний, позволяет роботам сохранять объектно-ориентированную память и улучшать производительность в задачах, требующих долгосрочного планирования. Способно ли такое решение открыть путь к созданию действительно автономных роботов, способных эффективно действовать в динамичных и непредсказуемых условиях?

Пределы Наблюдения в Динамичном Мире

Традиционные роботизированные системы сталкиваются с серьезными трудностями при выполнении задач, требующих памяти и предвидения, поскольку они оперируют в условиях неполной наблюдаемости. Это означает, что робот в любой момент времени имеет доступ лишь к частичной информации об окружающем мире, что затрудняет формирование полной картины происходящего и прогнозирование будущих событий. Неспособность учесть скрытые состояния и динамику объектов приводит к ошибкам в планировании действий и снижает эффективность работы в сложных, постоянно меняющихся средах. Например, робот может не распознать, что объект, временно скрытый за препятствием, вскоре вновь появится в поле зрения, и совершить неверные действия, основанные на неполных данных. Преодоление этой проблемы требует разработки новых алгоритмов и сенсорных систем, способных компенсировать недостаток информации и обеспечивать более надежное функционирование роботов в реальном мире.

Эффективное ориентирование и взаимодействие с окружающей средой требует от систем способности к сложному рассуждению об объектах и их взаимосвязях во времени. Однако, эта задача существенно усложняется из-за ограниченности поступающей информации. Неполное восприятие мира создает необходимость в построении вероятностных моделей и прогнозировании будущих состояний объектов, что требует значительных вычислительных ресурсов и может приводить к ошибкам. Системы, способные эффективно справляться с неопределенностью и строить когерентные представления о динамически меняющемся окружении, демонстрируют повышенную устойчивость и адаптивность, что критически важно для успешного функционирования в реальных условиях. Разработка алгоритмов, позволяющих извлекать максимум информации из ограниченных данных и эффективно моделировать временные зависимости, является ключевой задачей современной робототехники и искусственного интеллекта.

Наша разработанная система Embodied-SlotSSM объединяет слотовую динамику с LLM-декодером действий для предсказания действий, учитывающих память об объектах и основанных на текстовых запросах.

Embodied-SlotSSM: Объектно-Ориентированная Архитектура Памяти

Архитектура Embodied-SlotSSM представляет собой новый подход к построению визуальных языковых агентов (VLA), объединяющий слотовую модель состояния (Slot Attention) и модели пространства состояний (State-Space Modeling, SSM). Данная интеграция позволяет агенту структурированно представлять визуальную сцену, выделяя отдельные объекты и их атрибуты в дискретных слотах памяти. Это способствует повышению эффективности обработки информации и позволяет агенту более эффективно моделировать долгосрочные зависимости в визуальных данных, что необходимо для решения сложных задач, требующих понимания контекста и запоминания информации об объектах на протяжении времени. В отличие от традиционных подходов, Embodied-SlotSSM обеспечивает более интерпретируемое и управляемое представление визуальной информации.

Архитектура Embodied-SlotSSM осуществляет разложение визуальных сцен на дискретные объектные представления посредством механизма Slot Attention. Этот механизм идентифицирует и сегментирует объекты на изображении, формируя отдельные слоты в памяти агента. Каждый слот содержит информацию, относящуюся к конкретному объекту, включая его визуальные характеристики и положение. Такое структурированное представление позволяет агенту эффективно отслеживать и манипулировать объектами в сцене, обеспечивая интерпретируемость процесса принятия решений и упрощая моделирование долгосрочных зависимостей между объектами. Данный подход отличается от традиционных методов, обрабатывающих изображение как единый вектор признаков, и позволяет более точно моделировать сложные взаимодействия между различными элементами визуальной среды.

Архитектура Embodied-SlotSSM расширяет традиционные модели пространства состояний (SSM) за счет интеграции методов, основанных на слотах. Это позволяет эффективно моделировать долгосрочные зависимости в визуальных данных, поскольку слоты представляют собой дискретные объекты в сцене, а SSM обрабатывает временные связи между ними. В отличие от стандартных SSM, которые оперируют с непрерывными векторами, использование слотов снижает вычислительную сложность и позволяет более точно отслеживать взаимосвязи между отдельными объектами на протяжении времени. Данный подход позволяет модели сохранять информацию о состоянии объектов и их взаимодействии, что критически важно для задач, требующих понимания динамики сцены, например, в области визуальных агентов и робототехники. Эффективность достигается за счет уменьшения размерности обрабатываемых данных и повышения интерпретируемости модели, поскольку каждый слот соответствует конкретному объекту в визуальной сцене.

Визуализация механизма внимания к слотам показывает, как робот фокусируется на захвате и чаше во время подъема и перемещения чаши.

Тестирование в Немарковских Средах: Бенчмарк LIBERO-Mem

Модель Embodied-SlotSSM прошла тщательное тестирование на LIBERO-Mem, новом бенчмарке, разработанном для оценки способности модели сохранять объектно-ориентированные взаимодействия в немарковских условиях. LIBERO-Mem специально предназначен для проверки способности модели удерживать информацию об объектах и их взаимосвязях, даже когда текущее наблюдение недостаточно для полного восстановления состояния системы, что характерно для задач с частичной наблюдаемостью и долгосрочными зависимостями. В отличие от традиционных бенчмарков, LIBERO-Mem требует от модели способности к эффективному хранению и извлечению информации из прошлого для успешного выполнения задач манипулирования объектами.

Оценка модели Embodied-SlotSSM на бенчмарке LIBERO-Mem показала её способность поддерживать критически важные представления об объектах даже при ограниченном количестве наблюдательных данных. Средний процент успешного завершения подцелей (subgoal completion rate) составил 14.8%. Данный показатель демонстрирует, что модель способна эффективно извлекать и сохранять информацию об объектах и их взаимодействиях, несмотря на неполные или зашумленные входные данные, что особенно важно в задачах, где полное наблюдение за окружающей средой недоступно.

Результаты тестирования модели Embodied-SlotSSM на бенчмарке LIBERO-Mem демонстрируют существенное превосходство над базовыми моделями. В то время как базовые модели достигли средней скорости завершения подцелей в 5.0%, предложенная модель показала результат в 14.8%. Таким образом, разница в эффективности составляет приблизительно 9.8%, что подтверждает способность модели более эффективно сохранять и использовать информацию об объектах и их взаимодействиях в немарковских условиях.

В рамках оценки эффективности разработанного фреймворка, была проведена серия тестов на LIBERO-Goal – стандартном бенчмарке для задач манипулирования роботом. Результаты показали, что средний процент успешного выполнения заданий составил 80.1%. Данный показатель демонстрирует способность системы к надежному решению широкого спектра задач манипулирования в условиях, приближенных к реальным сценариям применения робототехники.

К Адаптивным и Интеллектуальным Системам: Перспективы Развития

Интеграция структурированной объектно-ориентированной памяти в визуальные языковые модели (VLA) представляет собой значительный прорыв в области воплощенного искусственного интеллекта. Традиционные архитектуры часто сталкиваются с трудностями в условиях частичной наблюдаемости и немарковских сред, где текущее состояние системы недостаточно для прогнозирования будущего. Новый подход позволяет агентам создавать и поддерживать внутреннее представление об окружающем мире, основанное на отдельных объектах и их свойствах, что значительно повышает способность к планированию и адаптации. По сути, система получает возможность “помнить” и “понимать” взаимосвязи между объектами, даже если они временно скрыты из поля зрения, что приближает ее к когнитивным способностям живых существ и открывает перспективы для создания более надежных и гибких интеллектуальных систем.

Традиционные архитектуры искусственного интеллекта часто сталкиваются с трудностями в ситуациях, когда доступ к полной информации ограничен, или когда текущее состояние системы зависит не только от непосредственного прошлого, но и от более отдаленных событий. В таких условиях, характеризующихся частичной наблюдаемостью и немарковскими свойствами среды, системы оказываются неспособны эффективно прогнозировать и реагировать на изменения. Новый подход, интегрирующий структурированную объектно-ориентированную память в визуально-лингвистические агенты (VLAs), позволяет преодолеть эти ограничения. Создавая внутреннее представление о мире, основанное на отдельных объектах и их взаимосвязях, система способна сохранять и извлекать информацию о прошлом, даже если она не видна в настоящий момент. Это позволяет агенту строить более надежные модели окружающей среды и принимать обоснованные решения, несмотря на неполноту данных и сложность временных зависимостей, значительно повышая его адаптивность и эффективность в динамичных условиях.

Перспективы развития представленных моделей связаны с масштабированием их возможностей для работы в ещё более сложных и динамичных реальных условиях. Исследователи планируют изучить способы увеличения размера и сложности объектов, хранящихся в структурированной памяти, что позволит системам более эффективно взаимодействовать с насыщенными деталями окружениями. Особое внимание уделяется адаптации алгоритмов к непредсказуемым изменениям в окружающей среде, включая обработку неожиданных событий и обучение в режиме реального времени. Успешная реализация этих направлений откроет путь к созданию по-настоящему интеллектуальных систем, способных к гибкому и эффективному функционированию в широком спектре практических приложений, от автономной робототехники до разработки продвинутых систем искусственного интеллекта для анализа данных и принятия решений.

Исследование демонстрирует, что эффективное манипулирование объектами требует от робота не просто восприятия текущего состояния, но и сохранения информации о предыдущих взаимодействиях. Внедрение слот-моделей пространства состояний (Slot-based state-space models) в рамках LIBERO-Mem позволяет роботу формировать устойчивое объектно-центричное представление мира, преодолевая ограничения марковских процессов. Как однажды заметил Роберт Тарьян: «Программное обеспечение подобно замку: чем сложнее замок, тем интереснее его взломать». В данном контексте, ‘взлом’ заключается в создании алгоритмов, способных успешно функционировать в условиях частичной наблюдаемости и немарковских сред, что и демонстрирует предложенный подход. Способность робота удерживать в памяти информацию о взаимодействиях с объектами, является ключом к адаптации и успешному выполнению задач в динамичной среде.

Что дальше?

Представленный подход, как и любое упрощение реальности, неминуемо сталкивается с границами применимости. LIBERO-Mem, будучи полезным инструментом оценки, всё же измеряет лишь способность робота удерживать информацию об объектах в рамках заданных условий. Что произойдёт, если объекты перестанут быть чётко определёнными, если их свойства изменятся непредсказуемо, или, что более интересно, если робот начнёт манипулировать не самими объектами, а представлениями о них? Заданный фреймворк Embodied-SlotSSM предполагает дискретность слотов памяти, но что, если реальная манипуляция требует непрерывного, текучего удержания контекста, подобно тому, как человек помнит последовательность действий, даже если она прерывается?

Следующим шагом видится не просто увеличение объёма памяти или усложнение модели, а пересмотр самой концепции «состояния». Если состояние – это лишь моментальный снимок, то, возможно, истинный интеллект заключается в способности предсказывать и формировать будущее состояние, а не просто реагировать на настоящее. Иными словами, необходимо исследовать, как робот может использовать память не для пассивного хранения информации, а для активного конструирования реальности, создавая предсказательные модели, которые превосходят ограничения Марковских процессов.

И, конечно, стоит задаться вопросом: а что, если «объекты» – это иллюзия, удобный, но искусственный способ организации информации? Возможно, подлинный прогресс в робототехнике заключается не в улучшении объектно-ориентированного восприятия, а в разработке принципиально новых способов представления и обработки информации, которые не опираются на эту устаревшую парадигму.

Оригинал статьи: https://arxiv.org/pdf/2511.11478.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2025-11-18 00:44