Виртуальная реальность обучает роботов: новый подход к манипуляциям

от

Автор: Денис Аветисян

Исследователи разработали систему, позволяющую обучать человекоподобных роботов сложным задачам манипулирования объектами, используя данные, собранные в виртуальной реальности и от человеческих демонстраций.

Пока крипто-инвесторы ловят иксы и ликвидации, мы тут скучно изучаем отчетность и ждем дивиденды. Если тебе близка эта скука, добро пожаловать.

Купить акции "голубых фишек"
Роботизированная система BifrostUMI успешно выполняет сложные манипулятивные задачи в реальном мире с использованием робота Unitree G1, демонстрируя способность к переносу навыков из виртуальной среды - от локализации и захвата хлеба на загроможденном столе до его переноса и размещения на тарелке, а также к выполнению координированных движений всего тела, таких как захват скомканной бумаги, отступление, приседание и выбрасывание ее в мусорную корзину, что подчеркивает возможности системы в задачах, требующих взаимодействия рук, талии и ног.
Роботизированная система BifrostUMI успешно выполняет сложные манипулятивные задачи в реальном мире с использованием робота Unitree G1, демонстрируя способность к переносу навыков из виртуальной среды — от локализации и захвата хлеба на загроможденном столе до его переноса и размещения на тарелке, а также к выполнению координированных движений всего тела, таких как захват скомканной бумаги, отступление, приседание и выбрасывание ее в мусорную корзину, что подчеркивает возможности системы в задачах, требующих взаимодействия рук, талии и ног.

Представлен фреймворк BifrostUMI, объединяющий сбор данных без участия робота, перенос ключевых точек и диффузионные модели для обучения целенаправленному управлению всем телом гуманоидного робота.

Сбор высококачественных данных для обучения человекоподобных роботов остается сложной задачей, требующей значительных аппаратных ресурсов и времени. В данной работе, ‘BifrostUMI: Bridging Robot-Free Demonstrations and Humanoid Whole-Body Manipulation’, предлагается новый подход к сбору данных, основанный на использовании VR-устройств и принципов Универсального Интерфейса Манипуляций (UMI). Разработанная система позволяет эффективно переносить сложные манипуляционные навыки от человека к роботу, используя лишь траектории ключевых точек и визуальную информацию. Способствует ли BifrostUMI созданию более гибких и адаптивных человекоподобных роботов, способных выполнять широкий спектр задач в реальных условиях?

За пределами традиционной робототехники: вызов сложной манипуляции

Традиционные роботизированные системы испытывают значительные трудности при выполнении сложных задач, требующих согласованной работы всего тела. Это обусловлено как сложностью сбора необходимых данных для обучения, так и потребностью в предельно точной координации движений. Для обучения робота выполнению даже относительно простых манипуляций требуется огромное количество примеров, описывающих различные ситуации и требуемые действия. Сбор этих данных — процесс трудоемкий и дорогостоящий, часто сопряженный с риском повреждения оборудования. Более того, поддержание стабильного и точного контроля над всеми степенями свободы робота в динамически меняющейся среде представляет собой серьезную техническую задачу, требующую передовых алгоритмов и высокопроизводительных вычислительных ресурсов. В результате, существующие роботы часто ограничены в своей способности адаптироваться к новым условиям и эффективно взаимодействовать с окружающим миром.

Сбор достаточного объема данных для обучения роботов сложным манипуляциям представляет собой значительную проблему, требующую больших временных и финансовых затрат. Процесс часто включает в себя ручное выполнение задач человеком или специалистом, что является трудоемким и подверженным ошибкам. Более того, обучение робота методом проб и ошибок может привести к повреждению оборудования, особенно при выполнении сложных или опасных действий. Необходимость физического взаимодействия робота с окружающей средой для сбора данных создает риски и увеличивает стоимость разработки, что существенно замедляет прогресс в области сложной робототехники и требует поиска альтернативных методов обучения, таких как симуляция или обучение с подкреплением.

Современные робототехнические системы зачастую полагаются на заранее запрограммированные траектории движения, что существенно ограничивает их способность адаптироваться к непредвиденным обстоятельствам или динамично меняющейся среде. Такая зависимость от жестких алгоритмов не позволяет роботам эффективно реагировать на неожиданные препятствия, изменения в расположении объектов или другие непредсказуемые факторы, возникающие в реальном мире. В результате, робот, функционирующий по заранее определенному плану, может оказаться неспособным выполнить задачу при малейшем отклонении от заданных условий, что снижает его универсальность и практическую ценность, особенно в сложных и неструктурированных средах, требующих гибкости и спонтанной реакции.

Система сбора данных BifrostUMI объединяет данные с двух трекеров на ногах и одного на поясе, двух инструментальных захватов с широкоугольными камерами, а также показания энкодеров моторов, позволяя обучать и развертывать политику управления движением робота в реальном времени.
Система сбора данных BifrostUMI объединяет данные с двух трекеров на ногах и одного на поясе, двух инструментальных захватов с широкоугольными камерами, а также показания энкодеров моторов, позволяя обучать и развертывать политику управления движением робота в реальном времени.

BifrostUMI: новая платформа для обучения гуманоидных роботов без физического прототипа

Представляется BifrostUMI — новая платформа, позволяющая обучать манипулятивным навыкам человекоподобных роботов без использования физического робота на этапе сбора данных. Данная платформа обеспечивает возможность создания обучающих данных посредством виртуальной реальности, что исключает риски, связанные с обучением на реальном оборудовании, и значительно повышает эффективность процесса. Отсутствие необходимости в физическом роботе на начальной стадии разработки позволяет сократить затраты и время, необходимые для обучения сложных манипулятивных навыков, и способствует более быстрому прототипированию и тестированию алгоритмов управления.

Система BifrostUMI использует переносную VR-систему для записи демонстраций действий человека, что обеспечивает безопасный и эффективный способ генерации обучающих данных. VR-система позволяет собирать данные о движениях без необходимости использования физического робота, снижая риски повреждений оборудования и обеспечивая возможность многократного повторения и вариаций действий. Записываемые данные включают информацию о положении и ориентации ключевых точек тела человека, что позволяет воссоздать движения в виртуальной среде и использовать их для обучения алгоритмов управления роботами. Такой подход значительно ускоряет процесс сбора данных и позволяет генерировать большие объемы обучающих примеров, необходимых для обучения сложных манипулятивных навыков у гуманоидных роботов.

В основе BifrostUMI лежит представление человеческих движений через пять ключевых точек, что значительно упрощает процесс обучения и повышает обобщающую способность модели. Вместо использования полных данных захвата движения, система фокусируется на отслеживании положения и ориентации этих пяти точек — головы, груди, левой и правой рук, а также таза. Такой подход позволяет снизить размерность входных данных, уменьшить вычислительную сложность и обеспечить устойчивость к шумам и вариациям в движениях. Использование ограниченного набора ключевых точек позволяет модели легче адаптироваться к различным задачам манипулирования и эффективно переносить полученные навыки на новые сценарии, даже при изменении геометрии или динамики робота.

BifrostUMI представляет собой иерархический подход к визуально-двигательному управлению гуманоидными роботами, использующий диффузионную модель для генерации траекторий ключевых точек и команд, которые затем преобразуются в 36-мерное представление движения робота и отслеживаются низкоуровневым контроллером, обеспечивая стабильное выполнение задач на основе демонстраций без необходимости предварительной настройки робота.
BifrostUMI представляет собой иерархический подход к визуально-двигательному управлению гуманоидными роботами, использующий диффузионную модель для генерации траекторий ключевых точек и команд, которые затем преобразуются в 36-мерное представление движения робота и отслеживаются низкоуровневым контроллером, обеспечивая стабильное выполнение задач на основе демонстраций без необходимости предварительной настройки робота.

От демонстрации к действию: ключевые компоненты конвейера

Процесс перевода демонстраций действий человека в команды для робота осуществляется посредством Spatial Keypoint Retargeting (SKR). SKR использует обратную кинематику (Inverse Kinematics) для преобразования желаемых положений и ориентации конечного эффектора (end-effector) в углы, соответствующие суставам робота. Это позволяет роботу воспроизводить демонстрацию, вычисляя необходимые углы поворота каждого сустава для достижения заданного положения и ориентации инструмента, которым он оперирует. Фактически, SKR выступает в роли переводчика между человеческим представлением о движении и системой координат, понятной для робота.

Политика диффузии, основанная на принципах зрительно-моторного управления, предсказывает будущие действия робота, используя разреженные ключевые точки в рабочем пространстве. Этот подход позволяет роботу генерировать плавные и скоординированные движения, поскольку модель диффузии обучается на последовательностях ключевых точек, определяющих желаемые позиции и ориентации манипулятора. Обучение происходит путем моделирования вероятностного распределения траекторий, что позволяет политике предсказывать наиболее вероятные последующие действия, учитывая текущее состояние и разреженные ключевые точки, задающие цель. Разреженность ключевых точек снижает вычислительную сложность и повышает обобщающую способность модели, позволяя ей адаптироваться к новым задачам и окружениям.

Целевая траектория, сформированная на основе предсказаний модели, реализуется посредством полнотелого контроллера (Whole-Body Controller, WBC). WBC обеспечивает стабильность робота и точное отслеживание заданной траектории, учитывая динамику всей системы и ограничения суставов. Контроллер использует алгоритмы управления, такие как управление с обратной связью по положению и скорости, для минимизации отклонений от желаемой траектории и поддержания равновесия робота даже при внешних возмущениях. WBC также выполняет распределение усилий и моментов между различными частями тела робота, предотвращая перегрузки и обеспечивая плавное и координированное движение.

Пространственное переназначение ключевых точек (SKR) позволяет связать предсказание ключевых точек высокого уровня с управлением всем телом робота низкого уровня, преобразуя пять ключевых точек в рабочем пространстве (таз, два инструментальных центра и две стопы) в ссылки, понятные роботу, сохраняя при этом метрические пространственные отношения между ними и масштабируя лишь расстояние от таза до стоп для компенсации разницы в росте между человеком и роботом, что обеспечивает получение исполняемых команд управления суставами.
Пространственное переназначение ключевых точек (SKR) позволяет связать предсказание ключевых точек высокого уровня с управлением всем телом робота низкого уровня, преобразуя пять ключевых точек в рабочем пространстве (таз, два инструментальных центра и две стопы) в ссылки, понятные роботу, сохраняя при этом метрические пространственные отношения между ними и масштабируя лишь расстояние от таза до стоп для компенсации разницы в росте между человеком и роботом, что обеспечивает получение исполняемых команд управления суставами.

Подтверждение и развертывание на реальной платформе: практическое применение

Система BifrostUMI была протестирована на гуманоидном роботе Unitree G1, что позволило продемонстрировать её способность к выполнению сложных задач, в частности, уборке мусора под столом. В ходе экспериментов робот успешно освоил навыки, полученные посредством демонстрации человеком, и эффективно применил их в реальных условиях. Данное подтверждение демонстрирует потенциал системы в автоматизации сложных манипуляций и расширении возможностей гуманоидных роботов для выполнения практических задач в различных средах.

Система продемонстрировала способность к обучению на основе демонстраций, выполненных человеком, и успешной передаче полученных навыков физическому роботу. В ходе экспериментов, робот-гуманоид Unitree G1 не только усваивал сложные последовательности действий, но и эффективно воспроизводил их в реальных условиях, обеспечивая надежное и производительное выполнение задач. Такой подход позволяет значительно упростить процесс обучения роботов, исключая необходимость ручного программирования и позволяя им адаптироваться к новым заданиям посредством наблюдения за человеком, что открывает перспективы для широкого применения в различных областях, включая сервисные роботы и автоматизацию производства.

Система BifrostUMI продемонстрировала возможность осуществления сбора данных без непосредственного участия робота, что позволяет гуманоидному роботу выполнять сложные манипуляции, такие как перемещение объектов и уборка мусора под столом, исключительно на основе человеческих демонстраций. Данный подход значительно упрощает процесс обучения робота, устраняя необходимость в трудоемкой ручной разметке данных и программировании сложных движений. Вместо этого, робот непосредственно учится, наблюдая за действиями человека, и способен воспроизводить эти действия с высокой точностью и эффективностью, открывая новые перспективы для взаимодействия человека и робота в реальных условиях.

Исследование, представленное в данной работе, демонстрирует стремление к упрощению процесса обучения манипуляций для гуманоидных роботов. BifrostUMI предлагает элегантное решение, позволяющее собирать данные, необходимые для обучения, без непосредственного участия робота. Это согласуется с принципом, сформулированным Барбарой Лисков: «Программы должны быть спроектированы так, чтобы изменения в одной части не влияли на другие». Использование VR и UMI способствует созданию модульной системы, где данные, полученные в виртуальной среде, легко адаптируются к физическому роботу. Подход, описанный в статье, подчёркивает важность чёткой структуры и разделения компонентов, что является ключом к созданию надёжных и масштабируемых систем управления роботами.

Что Дальше?

Представленный подход, безусловно, расширяет возможности обучения человекоподобных роботов сложным манипуляциям. Однако, необходимо признать: проблема не в сборе данных, а в их осмыслении. Успех BifrostUMI лишь подчеркивает, насколько примитивны текущие методы экстраполяции человеческих действий на нечеловеческую кинематику. Попытки «пересадить» движения, даже скорректированные алгоритмами, неизбежно наталкиваются на фундаментальное различие в архитектуре и динамике.

Будущие исследования должны сместить фокус с имитации как таковой на понимание принципов движения. Роботу не нужно копировать человека; ему необходимо усвоить базовые законы физики и применить их в контексте своей собственной конструкции. Ключевым представляется разработка систем, способных к абстракции и генерализации, а не к простому запоминанию паттернов. Иначе, мы обречены создавать лишь сложные, но все же автоматы.

Вопрос не в увеличении объема обучающих данных, а в их качественном переосмыслении. Возможно, истинный прогресс лежит не в совершенствовании алгоритмов машинного обучения, а в углублении нашего понимания самой природы движения и взаимодействия с окружающим миром. Сложность — это иллюзия, а ясность — ключ к подлинному искусственному интеллекту.

Оригинал статьи: https://arxiv.org/pdf/2605.03452.pdf

Связаться с автором: https://www.linkedin.com/in/avetisyan/

Смотрите также:

2026-05-06 14:11