Управление человекоподобными роботами в реальном времени требует трех тесно связанных этапов: захват движения, перенос движений и управление роботом. Вместе они образуют сквозной конвейер от движений человека до выполнения задач роботом.
Показанная на видео экспериментальная платформа состоит из трех основных компонентов:
1. Система захвата движения NOKOV
Выдает данные о движениях человека в реальном времени с субмиллиметровой точностью.
2. NKV-SE ReTarget (из ShadowEngine)
Выполняет перенос движений на основе динамики от движений человека к целевой модели робота с поддержкой пакетного моделирования.
3. NKV-SE TeleOp (из ShadowEngine)
Обеспечивает телеуправление с минимальной задержкой благодаря универсальной модели управления роботом, обученной на базе более чем 15 000 образцов движений, что позволяет обеспечить стабильное и отзывчивое выполнение задач роботом.
ShadowEngine — сквозная платформа для воплощенного ИИ и обучения робототехники.