Запечатлевая движение,
Создавая истории

Обзор

Нинбо Политехнический университет использует систему захвата движения NOKOV совместно с человекоподобным роботом Unitree G1 для выполнения тренировки в симуляции MuJoCo и телеуправления в реальном времени.

В ходе эксперимента оператор в костюме для захвата движения с отражательными маркерами выполняет движения верхней части тела, такие как поднятие рук, разгибание рук и махи. Система захвата движения NOKOV в реальном времени фиксирует движения человека и передает высокоточные данные о позах как в среду симуляции MuJoCo, так и физическому роботу, обеспечивая синхронную перенос движений и телеуправление.

Рабочий процесс эксперимента

Эксперимент состоит из двух этапов.

Захват движения человека

Оператор надевает костюм для захвата движения с отражательными маркерами и выполняет естественные движения верхней части тела в зоне захвата.

Система захвата движения NOKOV непрерывно отслеживает движение оператора и выдает точные данные о позе с низкой задержкой для управления роботом.

Симуляция MuJoCo

Захваченные данные о движении напрямую передаются в среду симуляции MuJoCo.

Модель робота Unitree G1 воспроизводит движения оператора в реальном времени, что позволяет исследователям проверять поведение робота перед его развертыванием на физической платформе.

Телеуправление роботом в реальном времени

После симуляции те же данные о движении управляют физическим человекоподобным роботом Unitree G1.

Робот синхронно выполняет поднятие рук, махи и другие движения, демонстрируя взаимодействие в реальном времени между входными сигналами движений человека и выполнением команд роботом.

Ценность применения

• Данное решение демонстрирует поддержку системой захвата движения NOKOV следующих направлений:

• Захват движения человека для человекоподобных роботов

• Тренировка в симуляции MuJoCo

• Перенос движений человека

• Телеуправление человекоподобным роботом в реальном времени

• Сбор данных для обучения путем подражания

Часто задаваемые вопросы

В1:Зачем использовать захват движения для телеуправления человекоподобным роботом?

Ответ 1: Захват движения предоставляет точные данные о позах человека с низкой задержкой, которые можно напрямую сопоставить с человекоподобным роботом, обеспечивая интуитивное телеуправление и надежный контроль робота.

В2:Как работает захват движения в связке с MuJoCo?

Ответ 2: Система захвата движения NOKOV передает данные о движении в реальном времени в среду симуляции MuJoCo, что позволяет виртуальному роботу воспроизводить движения человека для разработки и проверки алгоритмов.

В3:Может ли одинаковые данные захвата движения использоваться для управления как симуляцией, так и реальным роботом?

Ответ 3: Да. В данном решении одни и те же данные о движениях человека используются для управления моделью Unitree G1 в MuJoCo и физическим человекоподобным роботом Unitree G1, создавая бесшовный рабочий процесс от симуляции к телеуправлению в реальных условиях.

Узнайте больше о применении системы захвата движения NOKOV в робототехнике с человекоподобными роботами и воплощенном искусственном интеллекте

Смежные продукты

Оптическая система захвата движения NOKOV серии Mars

Платформа обучения воплощенного искусственного интеллекта NOKOV ShadowEngine