Аннотация
Точное отслеживание 6D позы объектов является ключевым аспектом задач роботизированной манипуляции, особенно в сложных сценариях сборки, таких как вставка штифтов. Традиционные методы визуального отслеживания часто ограничены затенениями и шумом в визуальной информации, особенно в сценариях, связанных с операциями роботизированной руки. В данной статье представлен новый метод TEG-Track, предложенный командой под руководством профессора И Ли из Института междисциплинарных информационных наук Университета Цинхуа и опубликованный в журнале RA-L. TEG-Track улучшает производительность обобщаемого отслеживания 6D позы, интегрируя тактильные датчики, и команда создала первый полностью аннотированный визуально-тактильный набор данных для отслеживания позы объектов в руке в реальных сценариях. Система сбора данных включает систему захвата движения NOKOV.
Код и набор данных:
GitHub: https://github.com/leolyliu/TEG-Track
Ссылка на публикацию:
Y. Liu et al., "Enhancing Generalizable 6D Pose Tracking of an In-Hand Object With Tactile Sensing," in IEEE Robotics and Automation Letters, vol. 9, no. 2, pp. 1106-1113, фев. 2024, doi: 10.1109/LRA.2023.3337690.
Фоновое исследование:
Надежность роботизированной манипуляции зависит от точного восприятия состояния движения объектов, находящихся в руке. Существующие методы отслеживания 6D позы обычно полагаются на RGB-D визуальные данные, которые показывают плохие результаты в сценариях с затенениями и столкновениями с окружающей средой. В отличие от этого, тактильные датчики могут непосредственно воспринимать геометрию и информацию о движении контактной области, предоставляя дополнительные вспомогательные сигналы для отслеживания.
Структура системы:
Суть TEG-Track заключается в использовании тактильных кинематических сигналов для улучшения визуальных трекеров поз с помощью стратегии оптимизации геометрического движения.
Набор данных:
Синтетический набор данных включает экземпляры объектов различных геометрических форм, выбранных из набора данных ShapeNet, в то время как реальный набор данных состоит из 200 видеозаписей, охватывающих 17 различных объектов в 5 категориях. Система сбора данных включает в себя роботизированную руку, тактильные датчики, RGB-D датчики, систему захвата движения NOKOV и объекты.
Экспериментальные результаты:
Эксперименты сравнили улучшение производительности TEG-Track на трех типах визуальных трекеров: основанных на ключевых точках (BundleTrack), на регрессии (CAPTRA) и на шаблонах (ShapeAlign). Результаты показали, что TEG-Track уменьшил среднюю ошибку вращения на 21.4% и ошибку трансляции на 30.9% в реальных данных.
Качественные результаты длинных траекторий в реальных данных показывают красные и зеленые рамки, представляющие предсказанные и истинные позы объекта в руке, соответственно.
Путем моделирования тактильных шумовых паттернов была протестирована производительность TEG-Track при различных качествах тактильных сигналов, что показало большую стабильность и устойчивость по сравнению с базовыми методами, полагающимися исключительно на тактильные или визуальные входные данные.
TEG-Track достиг скорости обработки 20 кадров в секунду в сценариях многокадровой оптимизации с низкими дополнительными вычислительными затратами, что делает его подходящим для приложений в реальном времени.
Для получения истинной информации о позе объектов, используемой для сравнения с предсказанными позами, была использована система захвата движения NOKOV.
Информация об авторах:
Соавтор: Юнь Лю, аспирант, Институт междисциплинарных информационных наук, Университет Цинхуа.
Соавтор: Сяомэнь Сюй, Новый колледж Я, Университет Цинхуа.
Ответственный автор: И Ли, главный исследователь Шанхайского института Ци Чжи и ассистент-профессор в Институте междисциплинарных информационных наук, Университет Цинхуа. Исследовательские интересы включают 3D восприятие, компьютерную графику и воплощенный искусственный интеллект.
Применение систем захвата движения в изучении технологии интегрированной внутренней позиционирования
Гибкий робот для реабилитации верхних конечностей с использованием технологии виртуальной реальности
Пожалуйста, свяжитесь с нами
-
Мы прилагаем все усилия для того, чтобы помочь вам в ваших запросах и предоставить полную информацию.
Поделитесь с нами своими проблемами, и мы быстро направим вас к наиболее эффективному решению.
-
-
- Объем захвата * m m m
-
Объекты для отслеживания *
- Количество целей (необязательно)
-
Тип камеры (по желанию)
-
Количество камер (необязательно)
- Отправить