Запечатлевая движение,
Создавая истории

Исследовательская группа из Школы машиностроения Университета Чжэцзян опубликовала статью под названием "Метод визуально-инерциальной фузии с использованием глубокого обучения для оценки поз человека в сценариях совместной сборки человек-робот при наличии препятствий" в журнале "Робототехника и компьютерно-интегрированное производство". 

Это исследование сосредоточено на сценариях умного производства, ориентированного на человека, предлагая метод визуально-инерциальной фузии для оценки позы человека с целью снижения влияния препятствий в промышленных условиях. Система захвата движения NOKOV предоставила достоверные данные о позах человека для исследования для проверки предложенного метода.

По сравнению с передовыми методами, предложенный метод оценки позы человека демонстрирует более высокую точность как на общедоступных, так и на пользовательских наборах данных и проявляет устойчивость в условиях наличия препятствий. Вклад данной работы можно резюмировать следующим образом:

1. Разработан новый метод оценки позы человека на основе визуально-инерциальной фузии для сценариев совместной работы человека и робота с препятствиями. Он использует одну RGB камеру и разреженные IMU в качестве входных данных, обеспечивая баланс между производительностью алгоритма и комфортом оператора.

2. Спроектирован блок фузии на основе трансформера с перекрестными модальностями для интеграции пространственных характеристик из разных модальностей, что способствует эффективной фузии данных.

3. a. Комплексные эксперименты, проведенные на двух общедоступных наборах данных и синтетическом наборе данных с препятствиями, демонстрируют конкурентоспособную производительность и устойчивость к препятствиям предложенного метода. b. Создан набор данных для оценки позы человека, собранный в процессе сборки человек-робот, содержащий видео, данные IMU и трехмерные достоверные аннотации, для проверки производительности применения.

Данная работа подтверждает производительность и устойчивость предложенного метода оценки позы человека на основе визуально-инерциальной фузии в различных сценариях. При создании пользовательского набора данных использовались высокоточные достоверные данные, предоставленные оптической системой захвата движения NOKOV, для оценки точности предложенного метода (рис. 9, 10, 11). 

Система захвата движения NOKOV предоставляет высокоточные достоверные данные о позе человека для проверки предложенного метода.

Профиль авторов:

Байцунь Ван (соответствующий автор): Заместитель декана, выдающийся профессор Циушу, докторский руководитель, Школа машиностроения, Университет Чжэцзян.

Цзы Сун: Аспирант, Школа машиностроения, Университет Чжэцзян.

Синьюй Ли: Доцент, Школа инженерных технологий, Университет Пердью.

Хуйин Чжоу: Аспирант, Школа машиностроения, Университет Чжэцзян.

Хуайон Янг: Академик Китайской академии инженерии (CAE); Директор факультета инженерии, профессор, докторский руководитель, Школа машиностроения, Университет Чжэцзян.

Лихуэй Ван: Член Канадской академии инженерии (CAE); Профессор и заведующий кафедрой устойчивого производства, отделение производственной инженерии, Королевский технологический институт KTH