Резюме: NOKOV Motion Capture представила ShadowEngine, комплексную платформу для обучения воплощённого ИИ, объединяющую данные о движении, мультимодальное зондирование, обучение роботов, телеуправление и валидацию Sim2Real в замкнутую инфраструктуру для исследований и промышленного развертывания.
NOKOV Motion Capture недавно анонсировала запуск ShadowEngine, комплексной платформы для обучения воплощённого ИИ, объединяющей сбор данных, мультимодальное зондирование, обучение роботов, телеуправление и валидацию Sim2Real в единый рабочий процесс. Основанная на многолетнем опыте компании NOKOV в области оптического захвата движений, ShadowEngine помогает робототехническим командам ускорить обучение роботов от сбора данных до их реального развёртывания.
Почему обучению воплощённого ИИ необходима замкнутая цепочка
Последние достижения в области обучения с подкреплением, обучения по подражанию и человекообразных роботов значительно увеличили спрос на качественные обучающие данные. Однако многие робототехнические команды всё ещё полагаются на фрагментированные рабочие процессы, где захват движений, мультимодальное зондирование, управление данными, симуляция и валидация обрабатываются независимо. Такая фрагментация затрудняет создание повторно используемых наборов данных или последовательную оценку производительности робота на протяжении всего цикла разработки.
По мере перехода роботов от контролируемых демонстраций к задачам в реальной среде, обучение перестаёт быть исключительно проблематиной алгоритмов. Командам необходим надёжный сбор данных, синхронизированные мультимодальные сигналы, перенаправление движений человека на роботы, данные экспертного телеуправления, обучение в симуляции и измеримая валидация на реальных робототехнических системах.
Во многих рабочих процессах эти этапы выполняются отдельными инструментами. Данные может быть сложно синхронизировать, движения, записанные при демонстрации, не всегда корректно переносятся на модели роботов, а результаты симуляции могут напрямую сравниваться с поведением реального устройства. ShadowEngine создан именно для объединения этих этапов в одну прослеживаемую циклическую систему сбор данных обучение валидация.
Что предоставляет ShadowEngine
Вместо того чтобы быть самостоятельным приложением для обучения, ShadowEngine служит инфраструктурой данных для воплощённого ИИ, объединяющей получение данных, мультимодальное управление, обучение роботов и валидацию в единый непрерывный рабочий процесс.
Модуль | Роль | Ключевая функция |
NKV-SE Source | Стандартизированные данные | Включает более 1000 часов и 100000 очищенных исходных данных движений человека, а также 100000 перенаправленных данных для Unitree G1. |
NKV-SE Fusion | Платформа мультимодальных данных | Синхронизирует и управляет данными с систем захвата движений, IMU, силовых платформ, ЭМГ, ЭЭГ, сочленений робота, камер, облаков точек лидара и аудиосигналов. |
NKV-SE ReTarget | Перенаправление движений | Использует динамическую оптимизацию для переноса движений человека на модели роботов, поддерживает потоки в реальном времени и на основе файлов, а также форматы URDF/MJCF. |
NKV-SE TeleOp | Платформа телеуправления | Поддерживает иммерсивное телеуправление с низкой задержкой и запись экспертных демонстраций для обучения роботов. |
NKV-SE Train | Центр обучения моделей ИИ | Интегрирует высокоточное физическое моделирование с популярными фреймворками обучения с подкреплением. |
NKV-SE Valid | Валидация и оценка качества | Сравнивает положение, скорость, ускорение и пользовательские метрики для валидации Sim2Real и тестирования согласованности. |
Ключевые преимущества для робототехнических команд
Замкнутый полный цикл: объединяет сбор данных, мультимодальное управление, ретаргетинг, обучение, телеуправление и валидацию.
Фундамент высокоточных данных: использует возможности оптического захвата движений от NOKOV для предоставления точных данных о движении, позе и траектории.
Готовые наборы данных: предоставляет стандартизированные датасеты движений и перенаправленные данные роботов для снижения объёма подготовительных работ.
Ретаргетинг и телеуправление: облегчает перенос движений человека на модели роботов и запись экспертных демонстраций для обучения по подражанию.
Валидация Sim2Real: возвращает данные оценки на реальном устройстве в рабочий процесс обучения для постоянной оптимизации.
Открытая интеграция: поддерживает форматы моделей URDF/MJCF и взаимодействие с экосистемой ROS/ROS2.
Практическая ценность
Для исследовательских групп в области воплощённого Ии ShadowEngine помогает создавать повторно используемые датасеты движений и управлять навыками оператора, состояниями роботов и мультимодальными данными сенсоров в едином рабочем процессе.
Для компаний и разработчиков робототехники она поддерживает обучение человекообразных роботов, перенаправление движений, демонстрации телеуправления, отладку политик и оценку согласованности, помогая сократить разрыв между офлайн данными и выполнением на реальном устройстве.
Для университетов, колледжей и учебных лабораторий робототехники ShadowEngine может поддерживать образовательные и научные процессы, сочетающие захват движений, управление данными, перенаправление движений робота, наблюдение за реальными системами и оценку производительности.
Снижая фрагментацию данных и упрощая процессы разработки роботов, ShadowEngine обеспечивает более быструю итерацию от сбора данных до реального развёртывания в различных робототехнических задачах.
ShadowEngine построен на собственной экосистеме аппаратного и программного обеспечения для захвата движений от NOKOV. Со стороны оборудования могут использоваться системы оптического захвата движенийзахват движений без маркеров ASTRA и интегрированные умные перчатки, тогда как программная сторона предоставляет шесть модулей ShadowEngine.
NOKOV Motion Capture также предоставляет техническую поддержку, регулярные обновления программного обеспечения и ежеквартальные курсы по применению технологий захвата движений.
Благодаря таким инициативам, как проект New Generation Star и фонд NOKOV Rising Talent Fund, компания продолжает поддерживать молодых исследователей в области робототехники и международный академический обмен.
Запуск ShadowEngine знаменует расширение NOKOV от технологий захвата движений к инфраструктуре данных для воплощённого ИИ. Объединяя получение данных, обучение роботов и проверку в реальной среде в рамках единого рабочего процесса, ShadowEngine позволяет командам создавать повторно используемые наборы данных, ускорять развитие навыков роботов, оценивать производительность в реальных условиях и сокращать путь от исследований до внедрения.
ShadowEngine представляет собой платформу для обучения ИИ роботов от NOKOV Motion Capture. Она охватывает работу с данными движений, мультимодальное слияние, перенаправление движений, телеуправление, валидацию и обучение моделей ИИ.
Нет. Человекообразные роботы являются важным сценарием применения, однако платформа также поддерживает воплощённых ИИ роботов, ловкую манипуляцию, обучение робототехнике, валидацию Sim2Real и инженерные испытания.
ShadowEngine предоставляет перенаправленные данные для Unitree G1 и поддерживает рабочие процессы обучения, телеуправления и валидации как для G1, так и для других моделей роботов.
Захват движений обеспечивает высокоточные данные о положении, позе, траектории и временных рядах для человека, инструментов, конечных эффекторов робота и испытуемых объектов. Эти данные могут поддерживать демонстрацию, перенаправление, обучение и валидацию.
Отдельные инструменты обычно охватывают лишь симуляцию или обучение моделей. ShadowEngine объединяет сбор данных, управление, ретаргетинг, телеуправление, валидацию и обучение ИИ в единый рабочий процесс.
Room820, China Minmetals Tower, район Чаоян, Пекин
info@nokov.cn
+ 86-10-64922321