Виртуальная реальность обучает роботов: новый подход к манипуляциям

Роботизированная система BifrostUMI успешно выполняет сложные манипулятивные задачи в реальном мире с использованием робота Unitree G1, демонстрируя способность к переносу навыков из виртуальной среды - от локализации и захвата хлеба на загроможденном столе до его переноса и размещения на тарелке, а также к выполнению координированных движений всего тела, таких как захват скомканной бумаги, отступление, приседание и выбрасывание ее в мусорную корзину, что подчеркивает возможности системы в задачах, требующих взаимодействия рук, талии и ног.

Исследователи разработали систему, позволяющую обучать человекоподобных роботов сложным задачам манипулирования объектами, используя данные, собранные в виртуальной реальности и от человеческих демонстраций.

Нейросети обучаются понимать мозг: новый подход к интерфейсам ‘мозг-компьютер’

Архитектура UniBCI использует контекстно-зависимую токенизацию и каскад слоёв интервально-площадного внимания, где нормализованные сигналы спайков токенизируются с метаданными, а затем обрабатываются через интервальное линейное внимание для извлечения временных характеристик внутри коротких сегментов, после чего учитывается пространственная зависимость спайков посредством скользящего окна внимания, при этом цель реконструкции заключается в генерации замаскированных частей токенов спайков на основе извлечённых признаков из спайковых тренов.

Исследователи представили UniBCI — модель, способную значительно улучшить точность декодирования нейронных сигналов и обобщение данных между разными видами и условиями экспериментов.

Тактильное зрение робота: как научить четвероногого манипулировать предметами

Четвероногое передвижение и манипулирование в реальном мире достигается посредством обучения с демонстраций, собранных с использованием тактильного манипулятора, что позволяет решать разнообразные задачи - от переориентации объектов и затягивания клапанов до бережной работы с хрупкими предметами, такими как микросхемы и фрукты.

Новая работа демонстрирует, как объединение визуальных и тактильных данных позволяет роботам-четвероногим выполнять сложные манипуляции с объектами в реальном мире.