Осязание и зрение: новая система для понимания мира предметами

от

Исследование демонстрирует, как тактильное взаимодействие с объектами дополняется мгновенными визуальными описаниями: пользователи получают иерархическую информацию, начиная с положения руки, краткого обзора и детализированных характеристик, могут запрашивать данные голосом, а жесты - например, указание или смахивание - позволяют получить доступ к конкретным свойствам объекта или сравнить два предмета одновременно, раскрывая потенциал для интуитивного взаимодействия человека с окружением.

Исследователи разработали систему, которая помогает незрячим и слабовидящим людям лучше понимать окружающие предметы через тактильное взаимодействие и автоматические словесные описания.

Визуальное управление роботами: точное манипулирование без текстур

от

В рамках разработанной системы визуального сервопривода, расширенный фильтр Калмана [latex]EKF[/latex] объединяет данные ключевых точек с априорной информацией о движении, обеспечивая надежное определение шестимерных координат объекта и его ориентации в пространстве.

Новый подход к визуальному сервоуправлению позволяет роботам надежно захватывать и перемещать объекты без выраженной текстуры, используя информацию с RGB-D камер и алгоритмы фильтрации Калмана.

Воссоздание мира вокруг нас: 3D-модели из обычных видео

от

Предлагаемый подход ForeHOI использует диффузионную модель для одновременного восстановления замаскированных областей 2D-маски объекта и завершения 3D-модели, эффективно решая задачу реконструкции объектов при сильном перекрытии с рукой, что, в свою очередь, обеспечивает точную оценку 3D-позы объекта посредством последующей обработки.

Новая модель ForeHOI позволяет быстро и точно восстанавливать трехмерные объекты из видеозаписей взаимодействия рук с предметами, открывая возможности для робототехники и дополненной реальности.